[논문 리뷰] BEGAN: Boundary Equilibrium Generative Adversarial Networks

David Berthelot, Thomas Schumm외 1명|arXiv (Cornell University)|2017. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 744

한 줄 요약

BEGAN은 경계 평형 메커니즘으로 생성기와 판별기를 균형시키는 자동 인코더 판별기를 도입하여 Wasserstein 기반 손실과 안정적이고 고품질 이미지 생성을 위한 수렴 지표를 도출합니다.

ABSTRACT

We propose a new equilibrium enforcing method paired with a loss derived from the Wasserstein distance for training auto-encoder based Generative Adversarial Networks. This method balances the generator and discriminator during training. Additionally, it provides a new approximate convergence measure, fast and stable training and high visual quality. We also derive a way of controlling the trade-off between image diversity and visual quality. We focus on the image generation task, setting a new milestone in visual quality, even at higher resolutions. This is achieved while using a relatively simple model architecture and a standard training procedure.

연구 동기 및 목표

• 학습 불안정성과 모드 붕괴를 완화하는 안정적인 GAN 프레임워크를 동기 부여한다.
• 학습 중 생성기와 판별기를 균형 있게 조절하는 평형 메커니즘을 제안한다.
• 자동 인코더 재구성 오차에 적용된 Wasserstein 거리의 하한에 기반한 손실을 개발한다.
• 수렴 지표를 도입하고 이미지 다양성과 시각적 품질 간의 제어 방법을 분석한다.
• 단순한 구조로 고품질의 고해상도 이미지 생성을 시演한다.

제안 방법

• EBGAN 스타일의 판별기로 자동 인코더를 사용한다.
• L(v)=|v−D(v)|^η 이고 η∈{1,2}인 자동 인코더 재구성 손실을 정의한다.
• 자동 인코더 손실 분포 간의 Wasserstein 거리에 대한 하한을 도출하고 판별기에 대해 그 한계를 최대화한다.
• 실제 이미지 재구성 및 가짜 이미지 재구성을 균형 있게 조절하는 평형 항과 다양성 비율 γ를 도입한다.
• 제어 변수 k_t를 도입한 경계 평형 GAN(BEGAN) 목표를 구현하고 k_{t+1}=k_t+λ_k(γL(x)−L(G(z)))로 업데이트한다.
• 전역 수렴 지표 M_global = L(x) + |γL(x) − L(G(z_G))|를 제공하고 학습 모니터링에 대한 사용을 논의한다.

실험 결과

연구 질문

• RQ1 평가 기반의 자동 인코더 기반 판별기가 GAN의 안정적이고 빠른 수렴을 이끌어내는가?
• RQ2 γ를 통한 균형 조정과 k_t 피드백이 이미지 다양성과 시각적 품질에 어떤 영향을 미치는가?
• RQ3 자동 인코더 손실에 대한 Wasserstein 거리 기반 경계가 GAN 학습의 효과적인 수렴 프록시가 될 수 있는가?
• RQ4 32×32에서 256×256까지 다양한 해상도에서 BEGAN이 안정성 및 현실성 측면에서 어떤 성능을 보이는가?
• RQ5 평형 유지가 모드 붕괴를 피하고 샘플 품질을 개선하는 데 어떤 영향이 있는가?

주요 결과

• BEGAN은 복잡한 교대 절차 없이도 안정적이고 빠른 학습을 달성한다.
• γ-다양성 제어는 이미지 다양성과 시각적 품질 사이의 명시적 트레이드오프를 가능하게 한다.
• 수렴 지표 M_global이 이미지 충실도와의 상관관계를 보이며 빠른 수렴이 관찰된다.
• Qualitative 결과는 CelebA 유사 데이터에서 다양한 포즈와 표정을 가진 고품질의 일관된 고해상도 이미지를 보여준다.
• 실험은 평형 유지로 불균형 네트워크에 대한 강인성을 보여준다.
• Inception-score 유사 평가에서 여러 GAN 변형에 비해 경쟁력 있거나 우호적인 성능을 나타낸다(비지도 설정 내에서).