[논문 리뷰] How Well Generative Adversarial Networks Learn Distributions

Tengyuan Liang|arXiv (Cornell University)|2018. 11. 07.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 34

한 줄 요약

이 논문은 은닉 확률 분포 학습에서 생성적 적대적 네트워크(GANs)의 최소최대 수렴 속도를 확립하며, 최적의 통계적 보장을 가능하게 하는 새로운 생성자-판별자 쌍 정규화 프레임워크를 도입한다. 비모수적 최적 속도를 도출하고 딥 ReLU 네트워크에 대한 이론을 제공하며, 이 새로운 정규화 메커니즘을 통해 GANs가 기존의 전통적 방법을 능가할 수 있음을 보여준다.

ABSTRACT

This paper studies the rates of convergence for learning distributions implicitly with the adversarial framework and Generative Adversarial Networks (GANs), which subsume Wasserstein, Sobolev, MMD GAN, and Generalized/Simulated Method of Moments (GMM/SMM) as special cases. We study a wide range of parametric and nonparametric target distributions under a host of objective evaluation metrics. We investigate how to obtain valid statistical guarantees for GANs through the lens of regularization. On the nonparametric end, we derive the optimal minimax rates for distribution estimation under the adversarial framework. On the parametric end, we establish a theory for general neural network classes (including deep leaky ReLU networks) that characterizes the interplay on the choice of generator and discriminator pair. We discover and isolate a new notion of regularization, called the generator-discriminator-pair regularization, that sheds light on the advantage of GANs compared to classical parametric and nonparametric approaches for explicit distribution estimation. We develop novel oracle inequalities as the main technical tools for analyzing GANs, which are of independent interest.

연구 동기 및 목표

• 다양한 평가 지표 하에서 은닉 분포 학습에서 GANs의 통계적 수렴 속도를 이해하기 위해.
• 특히 새로운 생성자-판별자 쌍 정규화 개념을 포함한 정규화를 사용하여 GANs에 대한 이론적 보장을 개발하기 위해.
• 와서슈타인, MMD, 소볼레프, GMM/SMM GANs를 동일한 적대적 프레임워크 아래 통합하고 분석하기 위해.
• GAN 프레임워크 내에서 분포 추정에 대한 최적의 비모수적 최소최대 속도를 확립하기 위해.
• 모수적 및 비모수적 추정에서 딥 신경망의 생성자와 판별자 아키텍처 간의 상호작용을 규명하기 위해.

제안 방법

• 목표 분포와 생성된 분포 사이의 적분 확률 거리(IPM)로 GANs의 최소최대 공식을 분석한다.
• 일반화 및 추정 오차를 분석하기 위한 핵심 기술 도구로 오рак루 부등식을 도출한다.
• 생성자와 판별자 네트워크 간의 상호 의존성을 포괄하는 새로운 정규화 메커니즘—생성자-판별자 쌍 정규화—를 도입하고 체계화한다.
• 목표 밀도를 실현하고 해당 판별자를 정확히 구현할 수 있는 명시적 딥 신경망 아키텍처(예: 리 leaky ReLU 네트워크)를 구성한다.
• VC 차원 한계를 딥 네트워크에 적용하여 판별자 및 생성자의 클래스의 복잡도를 제어한다.
• 비모수 통계 및 경험 과정 이론의 결과를 활용하여 부드러움 가정 하에 최소최대 최적 속도를 유도한다.

Figure 1: Pair regularization diagram on how well GANs learn distributions in TV distance, when tuning with generator $\mathcal{G}$ and discriminator $\mathcal{F}$ pair. The diagram is illustrated based on upper bounds on TV distance, namely $A_{1}(\mathcal{F},\mathcal{G},\nu)+A_{2}(\nu,\mathcal{G})

실험 결과

연구 질문

• RQ1 비모수적 은닉 분포 추정에서 GANs의 최적의 최소최대 수렴 속도는 무엇인가?
• RQ2 생성자-판별자 쌍 정규화는 기존의 모수적 및 비모수적 방법에 비해 통계적 성능을 어떻게 향상시키는가?
• RQ3 적대적 프레임워크는 와서슈타인, MMD, 소볼레프 GANs와 같은 다양한 IPM 기반 GAN 변종에서 최적의 속도를 달성할 수 있는가?
• RQ4 딥 신경망 아키텍처(예: ReLU, 깊이, 너비)는 GANs에서 최적의 추정 속도를 달성하는 데 어떤 역할을 하는가?
• RQ5 생성자와 판별자 네트워크 간의 상호작용은 GANs의 일반화 오차 및 추정 오차에 어떻게 영향을 미치는가?

주요 결과

• 논문은 적대적 프레임워크 하에서 비모수적 은닉 분포 추정에 대해 최적의 최소최대 속도를 확립하였으며, 문헌에 알려진 하한값과 정확히 일치한다.
• GANs의 기존 방법에 비한 통계적 우월성을 이끌어내는 핵심은 새로운 정규화 메커니즘—생성자-판별자 쌍 정규화—로 규명되었다.
• 딥 리 leaky ReLU 네트워크의 경우, 실현 가능 모델 하에서 생성자가 목표 분포의 로그 밀도를 정확히 표현할 수 있고, 판별자는 로그 밀도 차이를 정확히 재구성할 수 있음을 보였다.
• 조합된 생성자-판별자 네트워크의 VC 차원은 $ O(d^2 L^2 frac{1}{2} \log(dL)) $ 로 유계이며, 이는 일반화 오차를 제어한다.
• 추정 오차가 생성자 및 판별자의 복잡도와 연결된 오라클 부등식이 도출되었으며, 이는 GANs에서 일반화의 이론적 기반을 제공한다.
• 이론적 프레임워크는 와서슈타인, MMD, 소볼레프, GMM/SMM GANs와 같은 기존 GAN 변종을 단일 최소최대 IPM 공식 아래 통합하고 일반화한다.

Figure 2: Illustration of discriminator $\mathcal{F}$ (feed-forward network) and generator $\mathcal{G}$ (multi-layer perceptron) in Thm. 19 , for $L=3$ .