[논문 리뷰] MAGAN: Margin Adaptation for Generative Adversarial Networks

Ruohan Wang, Antoine Cully외 2명|arXiv (Cornell University)|2017. 04. 12.

Advanced Image Processing Techniques참고 문헌 16인용 수 53

한 줄 요약

MAGANs는 실제 데이터의 기대 에너지에 기반해 힌지 손실 마진을 자동으로 적응시키며 GAN 학습의 안정성을 개선하고 샘플 품질을 높이며, 특정 가정하에 수렴 보장을 제공한다.

ABSTRACT

We propose the Margin Adaptation for Generative Adversarial Networks (MAGANs) algorithm, a novel training procedure for GANs to improve stability and performance by using an adaptive hinge loss function. We estimate the appropriate hinge loss margin with the expected energy of the target distribution, and derive principled criteria for when to update the margin. We prove that our method converges to its global optimum under certain assumptions. Evaluated on the task of unsupervised image generation, the proposed training procedure is simple yet robust on a diverse set of data, and achieves qualitative and quantitative improvements compared to the state-of-the-art.

연구 동기 및 목표

• 자동 인코더 기반 판별기를 사용하여 GAN 학습의 불안정성과 모드 붕괴를 동기화하고 해결한다.
• 훈습 통계에 따라 힌지 손실 마진 m을 조정하는 마진 적응 메커니즘을 도입한다.
• 주어진 조건에서 MAGANs가 데이터 분포로 수렴한다는 이론적 수렴 분석을 제공한다.
• 다양한 데이터셋(MNIST, CIFAR-10, CelebA)에서 이미지 생성 품질과 안정성의 실질적 개선을 입증한다.

제안 방법

• D를 딥 오토인코더로 정의하고 판별기 목적에 마진 m이 있는 힌지 손실을 사용한다.
• real data의 기대 에 energies를 기반으로 마진 m_t를 적응시켜 D와 G 간의 균형을 유지한다.
• 초기 판별기 사전 학습을 포함한 2단계 학습 프로세스로 학습한다.
• 특정 통계가 현실 에너지와 합성 에너지 간의 정체 및 발산 경향을 나타낼 때 m_t를 업데이트한다.
• 주어진 가정 하에서 MAGANs가 p_data = p_G로 수렴하고 분포가 다를 때 m_t가 0으로 수렴하는 것을 보인다.
• 안정성과 수렴 보장을 강조하는 EBGANs 및 BEGANs와의 이론적 비교를 제공한다.

실험 결과

연구 질문

• RQ1 적응 마진이 자동 인코더 기반 GAN에서 학습의 안정성과 샘플 품질을 개선할 수 있는가?
• RQ2 MAGANs가 실제 데이터 분포로 수렴하는 조건은 무엇인가?
• RQ3 마진 적응이 고정 마진 접근 방식과 비교하여 판별기와 생성기 간의 역학에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋(MNIST, CIFAR-10, CelebA)에서 MAGANs가 추가 하이퍼파라미터 없이 로버스트한가?

주요 결과

• MAGANs가 다수의 데이터셋에서 최첨단 자동 인코더 GAN 변형들에 비해 정성적, 정량적 개선을 달성한다.
• CIFAR-10에서 MAGANs는 여러 기준선(BEGANs 5.62, EGANs 7.07, Improved GANs 4.36 등)보다 높은 inception 점수 6.40 ± 0.03를 달성한다.
• MNIST에서 MAGANs는 다양한 클래스 커버리지와 EBGANs(7.14 ± 0.04)보다 높은 inception-like 점수 7.52 ± 0.03을 생성한다.
• Qualitative CelebA 결과는 BEGANs 및 EBGANs에 비해 MAGANs가 더 자세하고 일관된 얼굴을 보인다.
• 마진 적응은 판별기의 힘을 일시적으로 감소시키고 생성기가 더 낮은 에너지 샘플을 생성하도록 유도하여 학습 안정화를 가져온다.
• 주어진 가정 하에서 MAGANs가 p_data ≈ p_G로 수렴하며, 분포가 일치하지 않을 때 마진 m_t가 단조롭게 0으로 수렴한다.