[논문 리뷰] A Convex Duality Framework for GANs

Farzan Farnia, David Tse|arXiv (Cornell University)|2018. 10. 01.

Sparse and Compressive Sensing Techniques인용 수 35

한 줄 요약

이 논문은 GAN을 생성자 분포와 데이터 분포 사이의 거리 측정값을 최소화하는 것으로 재해석하는 볼록 쌍대성 프레임워크를 제안한다. 이 거리 측정값은 생성자 분포와 데이터 분포 사이의 거리 측정값을 최소화하는 것으로 재해석되며, 이는 제약된 판별자 클래스 F에서 유도된 모멘트 제약 조건에 의해 페널티를 받는다. 이 해석은 f-GAN과 워샤르스테인 GAN으로 확장되며, 생성자에 따라 연속적으로 변화하는 하이브리드 거리 측정값을 제안하여 리프시츠 정규화를 통한 향상된 훈련을 제안한다.

ABSTRACT

Generative adversarial network (GAN) is a minimax game between a generator mimicking the true model and a discriminator distinguishing the samples produced by the generator from the real training samples. Given an unconstrained discriminator able to approximate any function, this game reduces to finding the generative model minimizing a divergence measure, e.g. the Jensen-Shannon (JS) divergence, to the data distribution. However, in practice the discriminator is constrained to be in a smaller class F such as neural nets. Then, a natural question is how the divergence minimization interpretation changes as we constrain F. In this work, we address this question by developing a convex duality framework for analyzing GANs. For a convex set F, this duality framework interprets the original GAN formulation as finding the generative model with minimum JS-divergence to the distributions penalized to match the moments of the data distribution, with the moments specified by the discriminators in F. We show that this interpretation more generally holds for f-GAN and Wasserstein GAN. As a byproduct, we apply the duality framework to a hybrid of f-divergence and Wasserstein distance. Unlike the f-divergence, we prove that the proposed hybrid divergence changes continuously with the generative model, which suggests regularizing the discriminator's Lipschitz constant in f-GAN and vanilla GAN. We numerically evaluate the power of the suggested regularization schemes for improving GAN's training performance.

연구 동기 및 목표

• 판별자 클래스 F를 제약함으로써 GAN에서의 거리 측정값 최소화 해석이 어떻게 변화하는지 이해하는 것.
• f-GAN과 워샤르스테인 GAN에 모두 적용 가능한 통합된 볼록 쌍대성 프레임워크를 개발하는 것.
• 생성자에 대해 연속적으로 변화하는 하이브리드 거리 측정값을 제안하여 생성자 분포에 대한 연속성을 확보하는 것.
• 판별자의 리프시츠 상수를 정규화함으로써 GAN 훈련 안정성이 향상됨을 입증하는 것.
• 제안된 정규화 기법의 효과를 수치적으로 평가하는 것.

제안 방법

• 생성자 분포와 데이터 분포 사이의 거리 측정값을 최소화하는 GAN의 최소최대 게임을 볼록 집합 F의 판별자에 대한 쌍대 문제로 수식화하는 것.
• F에서 유도된 모멘트 제약 조건을 만족하는 조건 하에서 생성자가 JS 거리 측정값을 최소화하는 이중 표현을 도출하는 것.
• f-GAN로의 확장에서 F의 이중 변수를 활용해 f-거리 측정값을 표현하는 것.
• 칸토로비치-루빈슈타인 쌍대성을 활용해 워샤르스테인 GAN에 프레임워크를 적응하는 것.
• f-거리 측정값과 워샤르스테인 거리 측정값을 융합한 하이브리드 거리 측정값을 제안하여 생성자 분포에 대해 연속성을 확보하는 것.
• 하이브리드 거리 측정값이 생성자에 대해 매끄럽게 변화할 수 있는 이론적 조건을 도출하는 것.

실험 결과

연구 질문

• RQ1 판별자 클래스 F를 제약함으로써 GAN에서의 거리 측정값 최소화 해석은 어떻게 변화하는가?
• RQ2 f-GAN과 워샤르스테인 GAN 모두에 적용 가능한 통합된 볼록 쌍대성 프레임워크를 개발할 수 있는가?
• RQ3 f-거리 측정값과 워샤르스테인 거리 측정값을 융합한 하이브리드 거리 측정값은 생성자에 대해 연속적인 의존성을 보이는가?
• RQ4 f-GAN과 보통 GAN에서 판별자의 리프시츠 상수를 정규화하는 데 이론적 근거는 무엇인가?
• RQ5 제안된 정규화 기법들은 GAN 훈련 성능 향상에 얼마나 효과적인가?

주요 결과

• 쌍대성 프레임워크는 제약된 GAN이 판별자 클래스 F에서 유도된 모멘트 제약 조건 하에서 JS 거리 측정값을 최소화함을 드러낸다.
• 이 프레임워크는 f-GAN과 워샤르스테인 GAN로 일반화되어 공통된 이론적 기반을 제공한다.
• 제안된 하이브리드 거리 측정값은 기존의 표준 f-거리 측정값과 달리 생성자에 대해 연속적으로 변화하며, 정규화를 지원한다.
• 이론적 분석을 통해 리프시츠 정규화가 생성자에 대한 거리 측정값의 매끄러운 의존성을 보장함으로써 훈련 안정성을 향상시킴을 입증한다.
• 수치적 결과는 제안된 정규화 기법이 실제 훈련 성능 향상에 기여함을 확인한다.