[논문 리뷰] Energy-relaxed Wasserstein GANs(EnergyWGAN): Towards More Stable and High Resolution Image Generation.

Jiqing Wu, Zhiwu Huang외 2명|arXiv (Cornell University)|2017. 12. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 7

한 줄 요약

이 논문은 대칭적 분산 목표를 통해 WGAN을 일반화함으로써 고해상도 이미지 생성을 가능하게 하고 학습 안정성을 향상시키는 새로운 에너지-완화 워셔스타인 GAN 프레임워크인 EnergyWGAN을 제안한다. 고정된 k-Lipschitz 제약 조건이 필요 없으며 자연스러운 GAN 스태킹을 지원하여 표준 벤치마크와 실제 고해상도 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, generative adversarial networks (GANs) have achieved great impacts on a broad number of applications, including low resolution(LR) image synthesis. However, they suffer from unstable training especially when image resolution increases. To overcome this bottleneck, this paper generalizes the state-of-the-art Wasserstein GANs (WGANs) to an energy-relaxed objective which enables more stable and higher-resolution image generation. The benefits of this generalization can be summarized in three main points. Firstly, the proposed EnergyWGAN objective guarantees a valid symmetric divergence serving as a more rigorous and meaningful quantitative measure. Secondly, EnergyWGAN is capable of searching a more faithful solution space than the original WGANs without fixing a specific $k$-Lipschitz constraint. Finally, the proposed EnergyWGAN offers a natural way of stacking GANs for high resolution image generation. In our experiments we not only demonstrate the stable training ability of the proposed EnergyWGAN and its better image generation results on standard benchmark datasets, but also show the advantages over the state-of-the-art GANs on a real-world high resolution image dataset.

연구 동기 및 목표

• 고해상도 이미지에서의 GAN 학습 중 불안정성을 해결한다.
• 표준 WGAN에서 고정된 k-Lipschitz 제약 조건이 제한하는 해의 공간 정밀도를 극복한다.
• GAN 성능 평가를 위한 더 엄밀하고 대칭적인 분산 측정법을 개발한다.
• 다중 GAN의 자연스러운 스태킹 메커니즘을 통해 확장 가능한 고해상도 이미지 생성을 가능하게 한다.
• 표준 벤치마크와 실제 고해상도 데이터셋 모두에서 뛰어난 성능을 입증한다.

제안 방법

• 고정된 k-Lipschitz 제약 조건을 더 유연한 에너지 기반 정규화로 대체하는 에너지-완화 목표를 도입하여 WGAN을 일반화한다.
• 에너지-완화 목표에서 유도된 대칭적 분산 측정법을 정의하여 수학적 엄밀성과 해석 가능성 향상을 확보한다.
• 고정된 리프시츠 상수를 강제하지 않고도 진짜 데이터 분포에 더 충실한 근사를 학습할 수 있도록 학습 절차를 설계한다.
• 각 단계에서 더 높은 해상도의 특징을 생성하는 계층적인 방식으로 다수의 GAN을 스태킹할 수 있도록 설계한다.
• 최적화 과정 중 분포 일치를 모니터링하기 위해 대칭적 분산을 신뢰할 수 있는 학습 지표로 활용한다.
• 에너지-완화 목표를 GAN 손실 함수에 통합하여 학습 안정성 향상과 샘플 품질 향상을 도모한다.

실험 결과

연구 질문

• RQ1 에너지-완화 목표는 고정된 k-Lipschitz 제약 조건을 강제하지 않으면서도 GAN의 학습 안정성을 향상시킬 수 있는가?
• RQ2 제안된 대칭적 분산 측정법은 GAN 성능 평가를 위한 더 의미 있고 엄밀한 지표를 제공하는가?
• RQ3 EnergyWGAN 프레임워크는 고해상도 이미지 생성을 위해 GAN의 자연스러운 스태킹을 지원할 수 있는가?
• RQ4 실제 고해상도 데이터셋에서 EnergyWGAN은 최신 기술 수준의 GAN들과 비교해 이미지 품질과 학습 안정성 측면에서 뛰어난 성능을 보이는가?
• RQ5 리프시츠 제약 조건의 완화가 GAN 학습에서 더 충실한 해의 공간에 접근할 수 있도록 허용하는 정도는 어느 정도인가?

주요 결과

• EnergyWGAN는 특히 고해상도 이미지에서 표준 WGAN보다 더 안정적인 학습을 달성한다.
• 제안된 대칭적 분산 측정법은 전통적인 WGAN 지표보다 더 엄밀하고 의미 있는 정량적 측정법으로 기능한다.
• 특정 k-Lipschitz 제약 조건을 고정할 필요 없이 더 충실한 해의 공간에 접근할 수 있도록 한다.
• 프레임워크는 GAN의 자연스러운 스태킹을 지원하여 확장 가능한 계층적 고해상도 이미지 합성을 가능하게 한다.
• CIFAR-10 및 CelebA와 같은 표준 벤치마크에서 EnergyWGAN는 뛰어난 이미지 생성 품질을 보여준다.
• 실제 고해상도 이미지 데이터셋에서 EnergyWGAN는 학습 안정성과 샘플 정밀도 측면에서 최신 기술 수준의 GAN들을 능가한다.