[논문 리뷰] Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets

Zhiming Zhou, Yuxuan Song외 6명|arXiv (Cornell University)|2018. 07. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 8

한 줄 요약

이 논문은 실수 데이터와 생성된 데이터 분포의 지지 집합이 서로 겹치지 않을 때 GAN 학습 실패의 근본 원인으로 최적의 디스크리미네이터의 신뢰할 수 없는 기울기를 규명한다. 특히, 디스크리미네이터에 리프시츠 연속성 조건을 도입하면 기울기가 실수 데이터 쪽을 향하게 되어 생성자 수렴을 보장함을 증명한다. 이는 워샤프스키 GAN을 넘는 더 넓은 범위의 유효한 GAN 목적함수 가족을 이끌어내며, 실험 결과로는 더 높은 샘플 품질과 학습 안정성이 입증된다.

ABSTRACT

In this paper, we investigate the underlying factor that leads to failure and success in the training of GANs. We study the property of the optimal discriminative function and show that in many GANs, the gradient from the optimal discriminative function is not reliable, which turns out to be the fundamental cause of failure in training of GANs. We further demonstrate that a well-defined distance metric does not necessarily guarantee the convergence of GANs. Finally, we prove in this paper that Lipschitz-continuity condition is a general solution to make the gradient of the optimal discriminative function reliable, and characterized the necessary condition where Lipschitz-continuity ensures the convergence, which leads to a broad family of valid GAN objectives under Lipschitz-continuity condition, where Wasserstein distance is one special case. We experiment with several new objectives, which are sound according to our theorems, and we found that, compared with Wasserstein distance, the outputs of the discriminator with new objectives are more stable and the final qualities of generated samples are also consistently higher than those produced by Wasserstein distance.

연구 동기 및 목표

• 실수 데이터와 생성된 데이터 분포의 지지 집합이 서로 겹치지 않을 때 GAN 학습 실패의 근본 원인을 규명하는 것, 특히 최적의 디스크리미네이터 기울기의 불신뢰성에 초점한다.
• 지지 집합이 겹치지 않을 경우 워샤프스키 거리와 같은 적절한 거리 척도가 수렴을 보장하지 못하는 이유를 분석하는 것.
• 최적의 디스크리미네이터 기울기가 실수 데이터 분포 쪽을 신뢰성 있게 향하게 하기 위해 리프시츠 연속성을 일반적인 해결책으로 제안하는 것.
• 리프시츠 연속성이 GAN 수렴을 보장하는 데 필요한 조건을 규명하는 것.
• 리프시츠 연속성 하에 유도된 새로운 GAN 목적함수를 제안하고, 워샤프스키 GAN 대비 샘플 품질과 학습 안정성에서 뛰어난 성능을 검증하는 것.

제안 방법

• 표준 GAN과 워샤프스키 GAN에서 최적의 디스크리미네이터 함수 $f^*$와 그 기울기 $\nabla_x f^*$의 이론적 분석.
• 리프시츠 연속성이 생성된 샘플에서의 $\nabla_x f^*$ 기울기가 실수 데이터 쪽을 향하게 하여 수렴을 보장함을 증명.
• 리프시츠 연속성 조건 하에서 유효한 GAN 목적함수의 일반적 가족을 유도.
• 리프시츠 제약 조건 하에서 $\mu$-Fisher IPM과 기타 $f$-divergence 기반의 새로운 GAN 목적함수 클래스 도입.
• Gulrajani 등 (2017)의 아키텍처를 사용하여 CIFAR-10, Tiny ImageNet, Oxford 102에서의 실험적 평가, Adam 옵timizer와 $\beta_1 = 0.0$ 설정.
• 다양한 목적함수 간 디스크리미네이터 출력과 생성된 샘플을 비교하여 안정성과 FID 점수 측정.

실험 결과

연구 질문

• RQ1 실수 데이터와 생성된 데이터 분포의 지지 집합이 서로 겹치지 않을 때 표준 GAN과 워샤프스키 GAN이 수렴하지 못하는 이유는 무엇인가?
• RQ2 최적의 디스크리미네이터 함수가 실수 데이터 분포의 위치를 신뢰성 있게 반영할 수 있도록 하는 성질은 무엇인가?
• RQ3 워샤프스키 거리와 같은 잘 정의된 거리 척도만으로도 GAN 수렴을 보장할 수 있는가, 아니면 추가 제약 조건이 필요한가?
• RQ4 어떤 조건에서 리프시츠 연속성이 GAN 수렴을 보장하며, 이 해결책은 얼마나 일반적인가?
• RQ5 리프시츠 연속성 하에서 유도된 새로운 GAN 목적함수는 워샤프스키 GAN 대비 샘플 품질과 학습 안정성에서 뛰어나게 성능을 냈는가?

주요 결과

• 실수 데이터와 생성된 데이터 분포의 지지 집합이 겹치지 않을 경우, 표준 GAN과 워샤프스키 GAN 모두 최적의 디스크리미네이터 기울기가 실수 데이터 분포의 위치에 대한 정보를 반영하지 못해 불신뢰성이 있다.
• 워샤프스키 거리와 같은 적절한 거리 척도로 거리 측정을 해도, 최적의 디스크리미네이터 기울기가 신뢰할 수 없다면 수렴은 보장되지 않는다.
• 리프시츠 연속성은 생성된 샘플에서의 $\nabla_x f^*$ 기울기가 실수 데이터 쪽을 향하게 하여 생성자 수렴을 보장하는 일반적인 해결책이다.
• 논문은 리프시츠 연속성이 $P_g$와 $P_r$ 사이에 $f^*$를 통해 강한 연결을 형성함으로써 생성자의 업데이트 방향이 의미 있는 것을 증명한다.
• 실험 결과로 리프시츠 연속성 하에서 유도된 목적함수는 워샤프스키 GAN보다 더 안정적인 학습과 일관되게 높은 품질의 생성 샘플을 생성함을 보였다.
• 제안된 방법은 워샤프스키 GAN을 초월해 넓은 범위의 유효한 GAN 목적함수 가족을 형성하며, $\mu$-Fisher IPM이 그 대표적인 예시이다.