[논문 리뷰] Improving Generalization and Stability of Generative Adversarial Networks

Hoang Thanh-Tung, Truyen Tran외 1명|arXiv (Cornell University)|2019. 02. 11.

Generative Adversarial Networks and Image Synthesis인용 수 82

한 줄 요약

본 논문은 이산 데이터에서 GAN 일반화 문제를 분석하고 경험적 판별기를 이론적 최적점으로 밀어 올리기 위해 0-centered gradient penalty (0-GP)를 제안하며, 일반화, 안정성 및 모드 붕괴에 대한 강건성을 향상시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) are one of the most popular tools for learning complex high dimensional distributions. However, generalization properties of GANs have not been well understood. In this paper, we analyze the generalization of GANs in practical settings. We show that discriminators trained on discrete datasets with the original GAN loss have poor generalization capability and do not approximate the theoretically optimal discriminator. We propose a zero-centered gradient penalty for improving the generalization of the discriminator by pushing it toward the optimal discriminator. The penalty guarantees the generalization and convergence of GANs. Experiments on synthetic and large scale datasets verify our theoretical analysis.

연구 동기 및 목표

• 원래 GAN 손실로 훈련된 판별기가 일반화가 낮고 생성기가 모드 붕괴로 이어질 수 있음을 보인다.
• 판별기의 일반화와 GAN의 수렴을 개선하기 위한 zero-centered gradient penalty (0-GP)를 제안한다.
• 0-GP가 모드 붕괴를 방지하기 위해 판별기의 용량을 분산시키고 하이퍼파라미터, 옵티마이저 및 아키텍처 전반에 걸친 강건성을 향상시킴을 입증한다.
• 합성 데이터 및 대규모 데이터세트에 대한 이론적 및 실험적 검증을 제공한다.

제안 방법

• 0-GP를 도입한다: 실제 샘플과 가짜 샘플 사이의 선을 따라 판별기의 그래디언트 노름을 최소화하는 페널티.
• 0-GP를 1-GP 및 0-GP-sample과 비교하고 0-GP가 경험적 판별기를 이론적으로 최적의 D*에 더 가깝게 밀어붙인다고 주장한다.
• 경험적으로 최적의 판별자 hat{D}*가 이론적으로 최적의 D*를 근사하지 않는다는 것을 보이고, 이를 페널티의 필요성으로 제시한다.
• 0-GP를 고려한 GAN 목표를 L^{0-GP} = L - lambda E_{tilde{x}}[||grad D_{tilde{x}}||^2]로 형식화한다.
• 0-GP가 데이터 영역 간의 판별기 용량을 균등화하고 모드 붕괴를 줄이는 데 도움이 된다고 주장한다.
• 수렴 및 일반화에 관한 통찰을 제공하고 TTUR 및 gradient exploding 분석과의 관련성을 다룬다.

실험 결과

연구 질문

• RQ1 원래 GAN 손실이 이산 데이터셋에서 판별기의 일반화에 나쁜 영향을 미치는가?
• RQ2 0-GP가 경험적 판별기를 이론적으로 최적의 판별기로 향하도록 밀어 GAN 수렴을 개선할 수 있는가?
• RQ3 0-GP가 모드 붕괴를 줄이고 하이퍼파라미터 변화 및 아키텍처 선택에 대한 강건성을 개선하는가?

주요 결과

• 원래 GAN 손실로 훈련된 판별기는 일반화가 좋지 않고 잘못 라벨링된 학습 데이터에 과적합하여 생성기를 방해한다.
• 원래 GAN 목표는 판별기에서 그래디언트 폭발을 촉진하고 생성기에서 모드 붕괴로 이어질 수 있다.
• 0-GP가 판별기를 이론적으로 최적의 D*에 가깝게 밀어 일반화와 수렴을 개선한다.
• 0-GP는 판별기의 용량을 영역 전반에 분산시켜 모드 붕괴를 감소시키고 하이퍼파라미터 및 아키텍처 전반에서 더 강건한 성능을 낸다.
• 합성 데이터, MNIST, ImageNet 실험에서 GAN-0-GP가 베이스라인보다 우수하고 훈련 설정에 더 강건함을 보인다.