[논문 리뷰] Approximability of Discriminators Implies Diversity in GANs

Yu Bai, Tengyu Ma외 1명|arXiv (Cornell University)|2018. 06. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 42

한 줄 요약

논문은 특정 제너레이터 클래스에 대해 제한된 근사성을 가지는 판별기를 설계함으로써 GAN이 다항 샘플 복잡도로 Wasserstein 거리(일부 경우 KL-발산) 안에서 분포를 학습할 수 있으며, 적절한 조건하에서 모드 붕괴를 완화할 수 있음을 보인다.

ABSTRACT

While Generative Adversarial Networks (GANs) have empirically produced impressive results on learning complex real-world distributions, recent works have shown that they suffer from lack of diversity or mode collapse. The theoretical work of Arora et al. suggests a dilemma about GANs' statistical properties: powerful discriminators cause overfitting, whereas weak discriminators cannot detect mode collapse. By contrast, we show in this paper that GANs can in principle learn distributions in Wasserstein distance (or KL-divergence in many cases) with polynomial sample complexity, if the discriminator class has strong distinguishing power against the particular generator class (instead of against all possible generators). For various generator classes such as mixture of Gaussians, exponential families, and invertible and injective neural networks generators, we design corresponding discriminators (which are often neural nets of specific architectures) such that the Integral Probability Metric (IPM) induced by the discriminators can provably approximate the Wasserstein distance and/or KL-divergence. This implies that if the training is successful, then the learned distribution is close to the true distribution in Wasserstein distance or KL divergence, and thus cannot drop modes. Our preliminary experiments show that on synthetic datasets the test IPM is well correlated with KL divergence or the Wasserstein distance, indicating that the lack of diversity in GANs may be caused by the sub-optimality in optimization instead of statistical inefficiency.

연구 동기 및 목표

• GAN에서 강한 판별기와 약한 판별기를 사용할 때 모드 붕괴/다양성의 긴장을 동기 부여하고 형식화한다.
• 제한된 근사성의 개념: 판별기가 제너레이터 클래스 G 내에서만 p와 q를 구분하도록 하여 모집단 수준의 보장을 가능하게 한다.
• 특정 제너레이터 클래스(가우시안, 지수 분포 가족, 역가/일대일 신경망)에 대해 Wasserstein 또는 KL 거리를 근사하는 판별기 설계 아이디어를 제시한다.
• 성공적인 학습이 Wasserstein 거리 또는 KL 발산에서 진짜 분포에의 근접성을 암시하고 따라서 중요한 모드 누락을 방지한다는 이론적 보장을 제공한다.

제안 방법

• 함수 클래스 F로 표현된 IPM W_F(p,q)를 정의하고, F가 1-라이프시츠 함수일 때 Wasserstein-1과의 관계를 밝힌다.
• 모든 q가 제너레이터 클래스 G에 속한다는 가정하에 gamma_L(W1(p,q)) <= W_F(p,q) <= gamma_U(W1(p,q))와 같은 제한된 근사성을 제안한다.
• 가우시안(단층 ReLU) 및 지수 분포 가족(선형 통계량) 등 기본 분포에 대한 판별기 클래스 F를 설계한다.
• 가역 네트워크(밀도 존재)와 단일화 네트워크(다양체) 등 신경망 제너레이터를 연구하고, 로그 밀도와 연관된 판별기 또는 평활화된 변형을 구성한다.
• 역가 제너레이터 설정에서 W1(p,q)^2 <= D_KL(p||q)+D_KL(q||p) <= W_F(p,q) <= poly(d)/delta^2 * (W1(p,q) + 작은 항) 등의 경계조건을 확립한다.
• Rademacher 복잡도 R_n(F,G)를 통해 모집단 IPM과 경험적 IPM 사이의 일반화 경계를 제시한다.

실험 결과

연구 질문

• RQ1 특정 제너레이터 클래스에 대해 제한된 근사성을 갖는 판별기를 설계할 수 있어 작은 IPM이 Wasserstein나 KL 거리에서의 근접성을 보장하는가?
• RQ2 가우시안, 지수 분포 가족, 역가/일대일 신경망 등 어떤 제너레이터 가족에 대해 각각의 거리 측정을 근사하는 판별기를 구성할 수 있는가?
• RQ3 제한된 근사성 하에서의 GAN 학습에 다항 샘플 크기 보장이 존재하며, 이는 모드 붕괴 완화를 의미하는가?
• RQ4 KL 발산이 무한대일 수 있는 저차원 매니폴드 지원에 대해 스무딩 처리된 또는 수정된 IPM은 어떻게 동작하는가?
• RQ5 실용적 GAN에서 IPM 학습 손실과 실제 분포 다양성 간의 이론적 및 경험적 관계는 무엇인가?

주요 결과

• 제한된 근사성을 가진 판별기는 W_F를 통해 Wasserstein 거리를 상한할 수 있어 p와 q가 W1에서 가까울 때 다채성을 보장한다.
• 가우시안 제너레이터의 경우, 단층 ReLU 판별기로 W1(가우시안) 경계를 얻을 수 있으며, 래데마흐러 복잡도는 명시된 스케일로 증가한다(상수까지).
• 지수 분포 가족의 경우, 충분 통계량에 대한 선형 기능들이 W_F와 KL 발산(및 지오메트리 조건에서 W1) 사이의 경계를 연결한다.
• 신경망 제너레이터의 경우, 특히 역가 네트워크에서 한 개의 추가 층을 가진 판별기가 W1(p,q)^2 <= W_F(p,q) <= W1(p,q)까지 다항 인자로 한정되도록 하며, 일반화 경계는 1/√n으로 감소한다.
• 삽입 신경망 제너레이터(매니폴드)의 경우, 매끄러운 IPM tilde d_F가 Wasserstein 거리에 의해 샌드위치처럼 유지되도록 근사치를 제공하며 일반화가 다항적으로 제한된다.
• 합성 2D 데이터에 대한 실험은 IPM이 Wasserstein 거리 및 KL 발산과 상관 관계를 보이며, 다양성 부족의 원인을 통계적 비효율성보다는 최적화의 어려움으로 제시한다.