[논문 리뷰] Some Theoretical Insights into Wasserstein GANs

Gérard Biau, Maxime Sangnier외 1명|arXiv (Cornell University)|2020. 06. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 85인용 수 17

한 줄 요약

이 논문은 신경망으로 파arameter화된 1-Lipschitz 판별자와 함께 적분 확률 거리 측도를 사용하여 WGAN의 아키텍처를 체계화함으로써 WGAN에 대한 이론적 통찰을 제공한다. 이는 경험적 WGAN의 수렴 성질을 확립하고, 생성자와 판별자 용량 사이의 핵심적 상충 관계를 드러내며, 더 깊은 판별자가 특히 유한 표본 환경과 MNIST 및 패션-MNIST와 같은 실세계 이미지 데이터셋에서 학습 안정성을 향상시키고 모드 붕괴를 감소시킨다는 것을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) have been successful in producing outstanding results in areas as diverse as image, video, and text generation. Building on these successes, a large number of empirical studies have validated the benefits of the cousin approach called Wasserstein GANs (WGANs), which brings stabilization in the training process. In the present paper, we add a new stone to the edifice by proposing some theoretical advances in the properties of WGANs. First, we properly define the architecture of WGANs in the context of integral probability metrics parameterized by neural networks and highlight some of their basic mathematical features. We stress in particular interesting optimization properties arising from the use of a parametric 1-Lipschitz discriminator. Then, in a statistically-driven approach, we study the convergence of empirical WGANs as the sample size tends to infinity, and clarify the adversarial effects of the generator and the discriminator by underlining some trade-off properties. These features are finally illustrated with experiments using both synthetic and real-world datasets.

연구 동기 및 목표

• 신경망으로 파arameter화된 1-Lipschitz 판별자를 사용하여 WGAN의 아키텍처를 적분 확률 거리 측도의 프레임워크 안에서 체계화하기.
• 표본 수가 증가함에 따라 경험적 WGAN의 渐近적 및 유한 표본 수렴 성질을 연구하기.
• 통계적 성능과 모드 붕괴 측면에서 생성자와 판별자 용량 간의 적대적 상충 관계를 명확히 하기.
• 합성 및 실세계 데이터셋(예: MNIST 및 패션-MNIST 포함)을 사용하여 이론적 발견을 실증적으로 검증하기.
• 더 큰 판별자 용량이 안정성을 향상시키고 Recall을 높여 WGAN 학습에서 모드 붕괴를 완화한다는 것을 보여주기.

제안 방법

• 깊은 신경망으로 파arameter화된 1-Lipschitz 판별자를 사용한 적분 확률 거리 측도를 통한 WGAN의 이론적 분석.
• 파arameter화된 생성자 및 1-Lipschitz 판별자 가족에 대한 최소최대 문제로 WGAN 목표의 체계화.
• 표본 수가 증가함에 따라 경험적 WGAN의 수렴 분석을 통해 추정된 생성자 분포의 일致성 확립.
• 실제 데이터와 생성된 데이터의 분포 유사도 평가를 위해 1-Lipschitz 함수를 사용한 워샤르스타인 거리의 측도 사용.
• 합성 가우시안 혼합 및 실 데이터셋(MNIST, 패션-MNIST)을 사용한 실증 평가로, 워샤르스타인 거리 및 Recall 측도를 통해 성능 측정.
• 생성자 및 판별자 깊이(p 및 q)의 체계적 아블레이션을 통해 분포 근사 및 모드 커버리지에 대한 영향 평가.

실험 결과

연구 질문

• RQ1 생성자 및 판별자 용량이 유한 표본 및 渐近적 환경에서 WGAN의 수렴성과 안정성에 어떻게 영향을 미치는가?
• RQ2 판별자에 대한 1-Lipschitz 제약 조건과 WGAN 최적화 성질 사이의 이론적 관계는 무엇인가?
• RQ3 분포 근사 및 모드 커버리지 측면에서 생성자 및 판별자 용량은 어떻게 상충되는가?
• RQ4 Recall 측도로 측정했을 때, 더 깊은 판별자는 WGAN 학습에서 얼마나 모드 붕괴를 감소시키는가?
• RQ5 MNIST 및 패션-MNIST와 같은 고차원 실세계 데이터셋에서 경험적 WGAN의 이론적 수렴 보장이 실증적으로 검증될 수 있는가?

주요 결과

• 더 깊은 판별자는 여러 실험에서 평균 Recall이 높아짐으로써 학습 안정성을 크게 향상시키고 모드 붕괴를 감소시킨다.
• WGAN 학습에서 가장 열악한 성능은 생성자가 깊은(p=7) 반면 판별자가 浅인(q=3) 경우에 나타나며, 이는 용량 간의 핵심적 상충 관계를 확인한다.
• 판별자 깊이 q가 증가할수록 생성된 분포의 평균 Recall이 향상되며, 이는 진정한 데이터 모드를 더 잘 커버한다는 것을 시사한다.
• 합성 및 실세계 데이터셋 모두에서, 경험적 분포와 생성된 분포 간의 최대 워샤르스타인 거리는 판별자 깊이가 증가함에 따라 감소하며, 특히 p가 중간 수준일 때 두드러진다.
• MNIST 및 패션-MNIST에 대한 실증 결과는, 사전 학습된 분류기의 특징 임베딩 간의 워샤르스타인 거리로 측정했을 때 더 큰 판별자 용량이 더 나은 분포 근사 결과를 가져온다는 것을 확인한다.
• 유한 표본 실험을 통해 경험적 WGAN의 이론적 수렴이 지지되며, 표본 수가 증가함에 따라 분포 유사도가 일致성 있게 향상되고 최적의 용량 균형이 유지됨을 보여준다.