[논문 리뷰] The Inductive Bias of Restricted f-GANs

Shuang Liu, Kamalika Chaudhuri|arXiv (Cornell University)|2018. 09. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 13

한 줄 요약

이 논문은 생성자와 판별자가 각각 분포 클래스와 함수 클래스로 제약을 받는 제한된 f-GAN의 이론적 특성화를 제공한다. 선형 KL-GAN의 경우 최적의 생성자 분포가 최대우도 추정과 모멘트 방법의 솔루션을 단순히 하나로 조합한 것이 아니라, 둘 다를 동시에 고려하는 새로운 조합임을 보여주며, 모델 불일치 상황에서 GAN 학습의 고유한 인덕티브 바이어스를 드러낸다.

ABSTRACT

Generative adversarial networks are a novel method for statistical inference that have achieved much empirical success; however, the factors contributing to this success remain ill-understood. In this work, we attempt to analyze generative adversarial learning -- that is, statistical inference as the result of a game between a generator and a discriminator -- with the view of understanding how it differs from classical statistical inference solutions such as maximum likelihood inference and the method of moments. Specifically, we provide a theoretical characterization of the distribution inferred by a simple form of generative adversarial learning called restricted f-GANs -- where the discriminator is a function in a given function class, the distribution induced by the generator is restricted to lie in a pre-specified distribution class and the objective is similar to a variational form of the f-divergence. A consequence of our result is that for linear KL-GANs -- that is, when the discriminator is a linear function over some feature space and f corresponds to the KL-divergence -- the distribution induced by the optimal generator is neither the maximum likelihood nor the method of moments solution, but an interesting combination of both.

연구 동기 및 목표

• 모델 불일치 상황에서 생성자와 판별자가 모두 제약을 받는 조건에서 GAN의 인덕티브 바이어스를 이해하기 위해.
• 변분 f-발산 최소화를 통해 제한된 f-GAN이 유도하는 해를 이론적으로 특성화하기 위해.
• GAN 솔루션이 최대우도 추정과 모멘트 방법과 같은 전통적 추론 방법과 어떻게 다름을 명확히 하기 위해.
• 선형 KL-GAN에서 최적의 해가 순수한 MLE나 GMM 해가 아니며, 둘의 하이브리드임을 입증하기 위해.

제안 방법

• 분석은 Fenchel-Moreau 정리와 Ky Fan의 최소최대 정리를 사용하여 제한된 f-GAN 목표의 이중 형식을 유도한다.
• 생성자-판별자 게임을 확률 측도 위의 최소최대 문제로 변환하기 위해 볼록 쌍대성의 이론을 적용한다.
• 해는 생성자 분포의 최적성을 f-발산과 판별자 클래스를 포함하는 페널티 항의 조합 최소화로 특성화함으로써 유도된다.
• 해는 확률 측도 위의 약* 위상에 기반하며, 최소최대 정리를 적용하기 위해 컴actness와 연속성 조건을 확립한다.
• f-발산의 변분 형태를 활용하고, 판별자 클래스 H가 이동에 대해 닫혀 있고 이동 불변임을 가정한다.
• 핵심 유도 과정은 최적의 Q가 판별자 페널티의 볼록 쌍대성과 관련된 최소최대 문제에 의해 결정됨을 보여준다.

실험 결과

연구 질문

• RQ1 모델 불일치 상황에서 제한된 f-GAN이 유도하는 분포의 이론적 형태는 무엇인가?
• RQ2 제한된 f-GAN의 해는 최대우도 추정과 모멘트 방법과 같은 전통적 추론 방법과 어떻게 다를까?
• RQ3 선형 KL-GAN에서 최적의 생성자는 최대우도 추정 또는 모멘트 방법 추정과 일치하는가?
• RQ4 생성자와 판별자가 모두 제약을 받을 경우 f-GAN의 인덕티브 바이어스는 무엇인가?
• RQ5 제한된 f-GAN의 해는 MLE와 GMM 해의 볼록 조합 또는 하이브리드로 특성화될 수 있는가?

주요 결과

• 선형 KL-GAN의 경우 최적의 생성자 분포는 최대우도 추정기나 모멘트 방법 솔루션이 아니다.
• 대신, 변분 f-발산 목표를 통해 우도 최대화와 모멘트 매칭을 균형 있게 조합하는 하이브리드 솔루션이다.
• 최적의 해는 판별자 페널티의 볼록 쌍대성과 f-발산을 포함하는 최소최대 형식에서 유도된다.
• 분석은 해가 약* 위상 하에서 잘 정의되어 있으며, 필요한 컴팩트니스와 연속성 조건을 만족함을 증명한다.
• 결과는 제한된 f-GAN이 전통적 추론 방법과는 다릅니다 고유한 인덕티브 바이어스를 유도함을 보여준다.
• 최적의 Q는 판별자 클래스의 딸림과 데이터 분포로의 f-발산을 포함하는 함수형의 최소화자로 특성화된다.