[논문 리뷰] Harmonizing Maximum Likelihood with GANs for Multimodal Conditional Generation

Soochan Lee, Junsoo Ha외 1명|arXiv (Cornell University)|2019. 02. 25.

Speech Recognition and Synthesis참고 문헌 44인용 수 14

한 줄 요약

이 논문은 조건부 GAN에서 전통적인 재구성 손실을 대체하기 위해 순간 재구성(MR) 손실을 제안하며, 이는 학습 안정성과 다중모드 생성을 동시에 가능하게 한다. 최대우도추정을 통해 실제 데이터 분포의 조건부 평균과 분산을 일치시킴으로써, Cityscapes 및 CelebA 데이터셋에서 이미지 간 번역, 초해상도 복원, 이미지 복원 작업에서 최신 기술 수준의 다양성과 시각적 정확도를 달성한다.

ABSTRACT

Recent advances in conditional image generation tasks, such as image-to-image translation and image inpainting, are largely accounted to the success of conditional GAN models, which are often optimized by the joint use of the GAN loss with the reconstruction loss. However, we reveal that this training recipe shared by almost all existing methods causes one critical side effect: lack of diversity in output samples. In order to accomplish both training stability and multimodal output generation, we propose novel training schemes with a new set of losses named moment reconstruction losses that simply replace the reconstruction loss. We show that our approach is applicable to any conditional generation tasks by performing thorough experiments on image-to-image translation, super-resolution and image inpainting using Cityscapes and CelebA dataset. Quantitative evaluations also confirm that our methods achieve a great diversity in outputs while retaining or even improving the visual fidelity of generated samples.

연구 동기 및 목표

• 재구성 손실이 모드 붕괴를 유도하고 출력 다양성을 감소시키는 조건부 GAN의 핵심적 한계를 해결한다.
• GAN 손실과 재구성 손실 간의 불일치로 인해 안정성과 다중모드 성능을 동시에 최적화할 수 없는 문제를 해결한다.
• 모델 아키텍처를 수정하지 않고도 재구성 손실을 순간 재구성 손실로 대체할 수 있는 일반화 가능한 학습 기반을 개발한다.
• 이미지 간 번역, 초해상도 복원, 이미지 복원과 같은 다양한 조건부 생성 작업에서 다양하고 고정밀도의 이미지 생성을 가능하게 한다.
• 단지 일阶 통계(평균)를 일치시켜도 효과적인 GAN 학습이 가능함을 보여주며, 복잡성을 줄이되 성능을 훼손하지 않는다.

제안 방법

• 기존의 L1/L2 재구성 손실을 대체하기 위해 생성자(G)가 실제 데이터 분포의 조건부 통계(평균 및 분산)를 예측하도록 하는 순간 재구성(MR) 손실을 도입한다.
• 최대우도추정(MLE)을 사용하여 조건이 주어졌을 때 실제 이미지의 조건부 평균과 분산을 예측하도록 생성자를 학습시킨다.
• 새로운 손실 함수를 통해 생성된 분포의 통계가 예측된 실제 데이터 통계와 일치하도록 강제함으로써 학습 안정성과 다양성을 향상시킨다.
• 별도의 네트워크를 사용해 통계를 예측하는 프록시 MR 손실을 제안하며, 생성자로부터 픽셀 수준 재구성에 대한 직접적 지도를 분리한다.
• GAN 손실과 함께 MR/프록시 MR 손실을 적용함으로써, GAN의 정확도 이점을 유지하면서도 다중모드 출력을 가능하게 한다.
• GAN 손실(실사성 향상)과 MR/프록시 MR 손실(통계 일치성 및 다양성 향상)을 병합하여 종합적인 손실을 사용해 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 기존의 재구성 손실을 사용하는 조건부 GAN은 일대다 매핑 학습을 하더라도 왜 다양성 있는 출력을 생성하지 못하는가?
• RQ2 재구성 손실을 통계적 순간 기반 손실로 대체하면 학습 안정성과 출력 다양성 양측 모두 향상될 수 있는가?
• RQ3 고차 통계(예: 분산)를 일치시킬 필요가 있는가, 아니면 평균만 일치시켜도 효과적인 다중모드 생성이 가능한가?
• RQ4 제안된 순간 재구성 손실은 BicycleGAN이나 노이즈 주입 기반 기준 모델에 비해 실사성과 다양성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 이미지 간 번역, 초해상도 복원, 이미지 복원과 같은 다양한 조건부 생성 작업에 일반화 가능한가?

주요 결과

• 제안된 가우시안 프록시 MR 2 손실은 Pix2Pix–Cityscapes에서 다양성 점수 0.519를 기록하여 BicycleGAN(0.191)과 Pix2Pix+노이즈(0.004)를 크게 앞서며 뛰어난 성능을 보였다.
• SRGAN–CelebA 작업에서 본 방법은 다양성 점수 0.050, 실사성 점수 0.52를 기록하여 SRGAN+노이즈(0.005 다양성, 0.60 실사성)를 능가했다.
• GLCIC–CelebA에서 본 방법은 다양성 점수 0.060, 실사성 점수 0.33을 기록하여 GLCIC+노이즈(0.004 다양성, 0.28 실사성)를 뛰어넘었다.
• MR 1 및 프록시 MR 1 손실이 MR 2 및 프록시 MR 2 손실과 유사하거나 더 우수한 성능을 보였으며, 이는 평균만 일치시켜도 많은 경우에 충분할 수 있음을 시사한다.
• 모든 작업에서 일관되게 다양성을 향상시키면서도 실사성은 유지 또는 향상시켜, 순간 재구성 손실이 정확도와 다양성 간의 상충관계를 효과적으로 해소함을 확인했다.
• 인간 평가 결과, 생성된 샘플은 매우 현실적이며 다양성이 높았으며, 프록시 MR 1 손실은 Pix2Pix–Cityscapes 벤치마크에서 가장 높은 다양성 점수(0.519)를 기록했다.