[논문 리뷰] Some Theoretical Properties of GANs

Gérard Biau, Benoı̂t Cadre외 2명|arXiv (Cornell University)|2018. 03. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)에 대한 엄밀한 이론적 분석을 제공하여, 제논-샤논 발산과의 연결을 규명하고, 약한 정규성 조건 하에 생성자 파라미터의 거의 확실 수렴을 증명한다. 또한 추정된 생성자 분포에 대한 중심극한정리와 점차적 최적성 및 안정성 결과를 통해 적대적 훈련 역학을 정당화한다.

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative algorithms that have been shown to produce state-of-the art samples, especially in the domain of image creation. The fundamental principle of GANs is to approximate the unknown distribution of a given data set by optimizing an objective function through an adversarial game between a family of generators and a family of discriminators. In this paper, we offer a better theoretical understanding of GANs by analyzing some of their mathematical and statistical properties. We study the deep connection between the adversarial principle underlying GANs and the Jensen-Shannon divergence, together with some optimality characteristics of the problem. An analysis of the role of the discriminator family via approximation arguments is also provided. In addition, taking a statistical point of view, we study the large sample properties of the estimated distribution and prove in particular a central limit theorem. Some of our results are illustrated with simulated examples.

연구 동기 및 목표

• GANs의 수학적 및 통계적 성질을 분석하여 GANs에 대한 더 깊은 이론적 이해를 제공한다.
• GAN의 적대적 원리와 제논-샤논 발산 간의 관계를 명확히 한다.
• 생성자 최적화의 맥락에서 디스criminator 가족의 역할을 근사 논증을 통해 연구한다.
• 추정된 생성자 분포의 대표 표본 성질, 즉 일致성과 점근 정규성을 확립한다.
• 정규성 조건 하에 추정된 생성자 분포에 대한 중심극한정리를 증명한다.

제안 방법

• 실제 및 생성된 샘플에 대한 디스criminator 신뢰도를 통해 정의된 목적함수에 초점을 맞춘 확률론과 경험과정 도구를 사용한 GAN 이론적 분석.
• 변분 표현과 최적화 이중성에 기반해 GAN 목적함수와 제논-샤논 발산 간의 연결을 수립한다.
• 경험과정 이론을 적용하여 표본 크기가 증가함에 따라 생성자 파라미터 추정치의 수렴성을 분석한다.
• 암시함수정리와 정규성 조건을 활용해 생성자 및 디스criminator 파라미터의 점근적 성질을 유도한다.
• 약한 정규성 가정 하에 생성자 파라미터 추정치가 최적 값으로 거의 확실하게 수렴함을 증명한다.
• 경험 손실 함수의 기울기와 헤시안의 점근적 분포를 분석하여 추정된 생성자 분포에 대한 중심극한정리를 도출한다.

실험 결과

연구 질문

• RQ1 GAN 목적함수는 제논-샤논 발산과 어떻게 관련이 있는가?
• RQ2 GAN에서 생성자 파라미터 추정치의 대표 표본 성질은 무엇인가?
• RQ3 생성자 파라미터가 거의 확실하게 최적 값으로 수렴하는 조건은 무엇인가?
• RQ4 디스criminator 가족의 선택은 생성자 추정 품질에 어떻게 영향을 미치는가?
• RQ5 GAN에서 추정된 생성자 분포의 점근적 분포는 무엇인가?

주요 결과

• GAN 목적함수는 진짜 데이터 분포와 생성자 분포 사이의 제논-샤논 발산을 최소화하는 것과 동치임을 입증한다.
• 정규성 조건 하에서 표본 크기가 증가함에 따라 생성자 파라미터 추정치가 거의 확실하게 최적 값으로 수렴함을 보였다.
• 정규성 조건 하에 추정된 생성자 분포에 대해 중심극한정리를 확립하여 파라미터 추정치의 점근 정규성을 보였다.
• 경우의 수에 따라 생성자 및 디스criminator 파라미터의 수렴성을 약한 가정, 즉 손실 함수의 헤시안과 기울기의 유계성 및 연속성 하에 증명하였다.
• 생성자 파라미터의 점근적 분포는 진짜 손실 함수의 헤시안과 디스criminator 기울기의 야코비안으로 특징지어지며, 이는 훈련 과정의 안정성을 보장한다.
• 이론적 프레임워크는 고차원 비모수 설정에서도 일치성과 점근 정규성을 보장하므로, 신경망이 GAN에서 사용되는 것을 정당화한다.