[논문 리뷰] f-GANs in an Information Geometric Nutshell

Richard Nock, Zac Cranko외 3명|arXiv (Cornell University)|2017. 07. 14.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 9

한 줄 요약

이 논문은 f-GANs의 이론적 기반을 수립하여, 훈련이 변형된 지수족 위의 기하 최적화 문제로 수렴함을 보이며, 변분 항등식을 통해 f-발산과 브레그만 발산을 연결함으로써, 깊은 구조가 이러한 밀도를 자연스럽게 인수분해함을 드러냄. 이는 생성자 활성화 함수와 판별자 링크 함수의 체계적인 설계를 가능하게 함.

ABSTRACT

Nowozin extit{et al} showed last year how to extend the GAN extit{principle} to all $f$-divergences. The approach is elegant but falls short of a full description of the supervised game, and says little about the key player, the generator: for example, what does the generator actually converge to if solving the GAN game means convergence in some space of parameters? How does that provide hints on the generator's design and compare to the flourishing but almost exclusively experimental literature on the subject? In this paper, we unveil a broad class of distributions for which such convergence happens --- namely, deformed exponential families, a wide superset of exponential families --- and show tight connections with the three other key GAN parameters: loss, game and architecture. In particular, we show that current deep architectures are able to factorize a very large number of such densities using an especially compact design, hence displaying the power of deep architectures and their concinnity in the $f$-GAN game. This result holds given a sufficient condition on extit{activation functions} --- which turns out to be satisfied by popular choices. The key to our results is a variational generalization of an old theorem that relates the KL divergence between regular exponential families and divergences between their natural parameters. We complete this picture with additional results and experimental insights on how these results may be used to ground further improvements of GAN architectures, via (i) a principled design of the activation functions in the generator and (ii) an explicit integration of proper composite losses' link function in the discriminator.

연구 동기 및 목표

• f-GAN의 정보이론적 수식과 그 정보기하학적 해석 사이의 격차를 메우기 위해 생성자 수렴의 기저가 되는 다양체 구조를 규명하는 것.
• 깊은 신경망이 f-GAN에서 효과적인 이유를 밝히기 위해, 변형된 지수족 내 밀도를 자연스럽게 인수분해함을 보여주는 것.
• f-GAN의 기하학적 구조를 바탕으로 생성자 활성화 함수와 판별자 링크 함수를 체계적으로 설계할 수 있는 프레임워크를 제공하는 것.
• 기존의 KL 발산과 브레그만 발산 간의 관계를 지수족을 초월해 더 넓은 분포 클래스로 확장하기 위해 변형된 지수족을 활용하는 것.

제안 방법

• KL 발산에서 브레그만 발산으로의 관계를 일반화한 변분적 접근을 제안하여, f-GAN(P, 에스코트(Q))가 변형된 지수족에 대해 브레그만 발산 D(θ∥ϑ)와 보상 항의 합과 같음을 보임.
• f-GAN 훈련이 기하 최적화 문제로 수렴하는 데 핵심적인 분포 클래스로 변형된 지수족을 규명함.
• 생성자의 출력이 변형된 지수족에 속하기 위한 활성화 함수(예: ReLU, Softplus, µ-ReLU)에 대한 충분조건을 유도함.
• 깊은 아키텍처가 변형된 지수족 내 다양한 밀도를 압축적으로 표현할 수 있음을 보이며, 이는 그들의 실험적 성공을 설명함.
• f-GAN 게임의 기하학적 구조를 활용하여 복합 손실 링크 함수를 판별자에 체계적으로 통합하는 방법을 제안함.
• DCGAN 및 MLP 아키텍처를 사용한 MNIST 및 LSUN 데이터셋에서 다양한 활성화 함수(ReLU, Softplus, µ-ReLU, LS 손실)를 적용한 실험을 통해 이론을 검증함.

실험 결과

연구 질문

• RQ1 f-GAN의 생성자가 수렴하는 분포의 클래스는 무엇이며, 이를 기하학적으로 어떻게 특징화할 수 있는가?
• RQ2 깊은 신경망 아키텍처는 변형된 지수족 내 밀도 표현과 어떻게 관련되어 있는가?
• RQ3 정보기하학적 이론적 보장에 기반해 생성자에서의 활성화 함수를 설계할 수 있는가?
• RQ4 기하학적 원리를 활용해 판별자의 링크 함수를 f-GAN 프레임워크에 명시적으로 통합할 수 있는가?
• RQ5 f-발산과 브레그만 발산 간의 이론적 연결이 지수족을 초월해 더 넓은 분포 클래스로도 성립하는가? 그리고 GAN 훈련에 어떤 함의를 갖는가?

주요 결과

• 변형된 지수족에 대해 f-GAN 목적함수는 자연 매개변수 간의 브레그만 발산과 보상 항의 합과 같으며, 이는 f-발산 최소화와 기하 최적화 사이의 직접적인 연결 고리를 확립함.
• 보상 항이 작을 경우, f-GAN 훈련은 효과적으로 브레그만 발산을 최소화하므로 생성자는 기하학적으로 최적의 해로 수렴함.
• DCGAN 및 MLP와 같은 깊은 아키텍처는 변형된 지수족 내 광범위한 밀도 클래스를 효율적으로 인수분해할 수 있으며, 이는 GAN에서의 그들의 실험적 성공을 설명함.
• 이론적 분석을 통해 ReLU, Softplus, µ-ReLU와 같은 일반적인 활성화 함수들이 변형된 지수족 밀도를 생성하기 위한 충분조건를 만족함이 밝혀짐.
• MNIST 및 LSUN에서의 실험 결과, µ > 0 인 µ-ReLU는 ReLU보다 더 높은 로그우도 성능을 보이며, 생성자 활성화의 이론적 설계를 검증함.
• f-GAN 수식에 포함된 복합 손실과 일치하는 적절한 링크 함수를 판별자에 통합할 경우, 특히 WGAN 유사 설정에서 훈련 안정성과 성능이 향상됨.