[논문 리뷰] Generalization Properties of Optimal Transport GANs with Latent Distribution Learning

Giulia Luise, Massimiliano Pontil외 1명|arXiv (Cornell University)|2020. 07. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 12

한 줄 요약

이 논문은 최적 운반 기반 GAN에서 생성자와 잠재 분포의 공동 학습 프레임워크를 제안하며, 두 구성 요소를 동시에 최적화함으로써 표본 복잡도와 일반화 능력이 향상됨을 입증한다. 주요 기여는 잠재 분포를 사전에 고정하는 것보다 학습함으로써 통계적 및 계산적 부담을 줄일 수 있음을 보여주는 이론적 분석이다.

ABSTRACT

The Generative Adversarial Networks (GAN) framework is a well-established paradigm for probability matching and realistic sample generation. While recent attention has been devoted to studying the theoretical properties of such models, a full theoretical understanding of the main building blocks is still missing. Focusing on generative models with Optimal Transport metrics as discriminators, in this work we study how the interplay between the latent distribution and the complexity of the pushforward map (generator) affects performance, from both statistical and modelling perspectives. Motivated by our analysis, we advocate learning the latent distribution as well as the pushforward map within the GAN paradigm. We prove that this can lead to significant advantages in terms of sample complexity.

연구 동기 및 목표

• 잠재 분포 선택과 생성자 복잡도가 GAN의 일반화에 미치는 영향에 대한 이론적 이해 부족을 해결하기 위해.
• OT-GAN에서 잠재 분포를 사전에 고정할 경우 발생하는 통계적 및 계산적 단점들을 조사하기 위해.
• 모든 하위가우시안 잠재 분포를 渐진적으로 학습할 수 있는 새로운 GAN 추정기 개발을 위해.
• 정확한 및 근사된 지지 조건 하에서 제안된 공동 추정기의 학습 속도를 이론적으로 특성화하기 위해.
• 표준 GAN 학습(고정된 잠재 분포)과 비교하여 공동 학습의 장점, 즉 표본 복잡도와 성능 측면에서의 우수성을 입증하기 위해.

제안 방법

• 생성자 네트워크 $T_\theta$와 잠재 분포 $\eta$를 동시에 훈련하는 공동 GAN 추정기를 제안하며, 목적 함수로 Sinkhorn 산란을 사용한다.
• 잠재 분포 $\eta$를 나타내기 위해 $m$개의 입자 기반 최적화 방법을 사용하며, $T_\theta$와 $\eta$를 블록-좌표 강하를 통해 갱신한다.
• 생성된 분포와 목표 분포 간의 이질성 측정을 위해 정규화된 최적 운반(정규화된 Sinkhorn) 산란 $S_\varepsilon$을 훈련 손실로 활용한다.
• Sinkhorn 산란의 Fréchet 도함수를 사용하여 $T_\theta$와 $\eta$에 대한 기울기를 유도함으로써 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 학습 중 기울기 추정과 안정성을 향상시키기 위해 각 입자당 $\ell$개의 점을 사용하는 편향 샘플링 전략을 도입한다.
• 수렴성과 근사 정확도 향상을 위해 시간이 지남에 따라 정규화 매개변수 $\varepsilon$를 감소시키는 전략을 적용한다.

실험 결과

연구 질문

• RQ1 생성자 네트워크의 규칙성이 OT-GAN에서의 피우퍼워드 측도의 표본 복잡도에 어떤 영향을 미치는가?
• RQ2 GAN에서 잠재 분포를 사전에 고정할 경우 발생하는 통계적 및 계산적 결과는 무엇인가?
• RQ3 생성자와 잠재 분포의 공동 학습이 향상된 일반화 성능과 표본 복잡도를 가져올 수 있는가?
• RQ4 공동 추정기의 학습 속도는 고정된 잠재 분포를 가진 표준 GAN의 것과 비교하여 어떻게 다른가?
• RQ5 OT-GAN 맥락에서 더 넓은 범위의 잠재 분포(예: 가우시안 혼합 모델을 초월한)를 학습하는 데서 이론적 이점은 무엇인가?

주요 결과

• 이론적 분석 결과, 잠재 분포를 사전에 고정하는 것은 특히 생성자가 모든 모델링 복잡도를 떠넘겨야 할 경우에 열악한 표본 복잡도를 초래할 수 있음을 밝혀냈다.
• 생성자와 잠재 분포의 공동 학습은 잠재 분포가 일부 모델링 부담을 분담할 수 있기 때문에 표본 복잡도가 향상됨을 보였다.
• 제안된 공동 추정기는 어떤 하위가우시안 잠재 분포라도 渐진적으로 학습할 수 있으며, 가우시안 혼합 모델의 한계를 초월한다.
• 螺旋 및 스위스롤 데이터에 대한 실험 결과, 공동 학습 방법이 고정된 잠재 분포를 가진 표준 GAN보다 더 나은 모드 커버리지와 분포 일치 성능을 보였다.
• 공동 추정기는 표본 수가 적은 환경에서 특히 생성자에 가해지는 통계적 부담 감소로 인해 더 빠른 수렴과 더 안정적인 훈련을 보였다.
• 공동 추정기의 이론적 학습 속도 경계는 표준 GAN보다 더 날카롭게, 즉 더 탐색 가능한 수준으로 유도되었으며, 이는 개선된 일반화 성질을 확인한다.