[논문 리뷰] Do GAN Loss Functions Really Matter

Yipeng Qin, Niloy J. Mitra외 1명|arXiv (Cornell University)|2018. 01. 01.

Speech and Audio Processing인용 수 2

한 줄 요약

이 논문은 GAN 손실 함수와 리프시츠 정규화 간의 상호작용을 조사하며, 분류기의 리프시츠 상수가 작을 경우(강한 제약), 대부분의 손실 함수—NS-GAN, LS-GAN, 심지어 sin 및 exp와 같은 비현실적인 손실 함수까지도 WGAN 손실과 유사한 방식으로 행동함을 보여준다. 이는 유사한 성능을 낳는다. 유일하게 고 리프시츠 상수 조건에서도 뛰어난 성능을 유지하는 것은 WGAN이며, 이는 GAN 성공의 진정한 원인이 손실 함수 선택이 아니라 리프시츠 정규화임을 드러낸다.

ABSTRACT

In this paper, we address the recent controversy between Lipschitz regularization and the choice of loss function for the training of Generative Adversarial Networks (GANs). One side argues that the success of the GAN training should be attributed to the choice of loss function [16, 2, 5], while the other suggests that the Lipschitz regularization is the key to good results [17, 3, 18, 19]. We provide a theoretical and experimental analysis of how Lipschitz regularization interacts with the loss function to derive the following insights: (i) We show that popular GANs (NS-GAN [4], LS-GAN [16], WGAN [2]) perform equally well when the discriminator is regularized with a small Lipschitz constant, but the performance in terms of quality and diversity gets worse for larger Lipschitz constants, except for WGAN. (ii) We show that all loss functions degenerate to linear ones for small Lipschitz constants to explain why the performance of these GANs is similar. For higher Lipschitz constants, we observe that only WGAN performs well while NS-GAN and LS-GAN break down. For lower Lipschitz constants, NS-GAN and LS-GAN perform similarly to WGAN only because they degenerate to the WGAN loss. In order to further illustrate this issue, we demonstrate that even ridiculous loss functions such as sin and exp have similar performance to NS-GAN, LS-GAN, and WGAN, when small Lipschitz constants are used.

연구 동기 및 목표

• GAN 학습 성공의 원인이 손실 함수 선택인지 리프시츠 정규화인지에 대한 논란을 해결하기 위해.
• 손실 함수와 리프시츠 상수 간의 상호작용이 GAN 품질과 다양성에 어떻게 영향을 미치는지 분석하기 위해.
• 특정 정규화 조건 하에서 서로 다른 것처럼 보이는 GAN 손실 함수들이 실제로 유사하게 행동하는지 평가하기 위해.
• sin 및 exp와 같은 비표준 손실 함수들이 다양한 리프시츠 제약 조건 하에서 얼마나 견딜 수 있는지 검증하기 위해.

제안 방법

• 리프시츠 정규화가 GAN 손실 함수의 기능 형태에 미치는 영향을 이론적으로 분석하기 위해.
• 다양한 리프시츠 상수 조건 하에서 여러 손실 함수(NS-GAN, LS-GAN, WGAN)의 GAN 성능을 실증적으로 평가하기 위해.
• 작은 리프시츠 상수를 사용하여 비-WGAN 손실 함수가 WGAN 유사 행동으로 근사되는 현상을 유도하기 위해.
• 동일한 정규화 설정에서 표준 및 비현실적인 손실 함수(e.g., sin, exp)를 실험적으로 비교하기 위해.
• 작은 리프시츠 상수의 극한에서 손실 함수 행동을 분석하여 선형화 효과를 규명하기 위해.
• 리프시츠 상수를 체계적으로 변형하여 손실 함수 설계와의 영향을 분리하기 위해.

실험 결과

연구 질문

• RQ1 리프시츠 정규화는 다양한 GAN 손실 함수의 효과적 행동에 어떻게 영향을 미치는가?
• RQ2 NS-GAN과 LS-GAN이 WGAN과 유사하게 작동하는 조건은 무엇인가?
• RQ3 왜 WGAN는 높은 리프시츠 상수 조건에서도 성능을 유지하는 반면, 다른 손실 함수는 실패하는가?
• RQ4 sin 및 exp와 같은 비표준 손실 함수가 WGAN 성능을 어느 정도 모방하는가?
• RQ5 GAN 성공의 진정한 원인은 손실 함수 설계인지 리프시츠 정규화인가?

주요 결과

• 분류기의 리프시츠 상수가 작을 경우, NS-GAN, LS-GAN, WGAN는 모두 선형이고 WGAN 유사 손실로 근사되어 동일한 성능을 낸다.
• 더 큰 리프시츠 상수 조건에서는 오직 WGAN만 강력한 성능을 유지하며, NS-GAN과 LS-GAN은 성능이 저하된다.
• sin 및 exp와 같은 모든 손실 함수는 리프시츠 상수가 작을 경우 선형화로 인해 WGAN와 유사한 성능을 달성한다.
• NS-GAN과 LS-GAN이 작은 상수 조건에서 WGAN와 유사한 성능을 보이는 것은 손실 함수 자체의 특성 때문이 아니라, 정규화 조건 하에서의 근사화 때문임을 규명하였다.
• WGAN가 높은 리프시츠 상수 조건에서도 견고성을 유지하는 것은 독특하며, 다른 손실 함수와는 공유되지 않는다.
• 이론적 분석을 통해 손실 함수가 작은 리프시츠 제약 조건 하에서 선형 형태로 근사화됨을 확인하였으며, 이는 실증적 성능 유사성을 설명한다.