[논문 리뷰] Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis

Qi Mao, Hsin-Ying Lee외 3명|arXiv (Cornell University)|2019. 03. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 36

한 줄 요약

이 논문은 조건 GAN에서 모드 탐색 정규화 항을 도입하여 작은 모드를 탐색하도록 장려하고, 네트워크 구조를 바꾸거나 훈련 오버헤드를 추가하지 않고 출력 다양성을 증가시키며, 범주 생성, 이미지-이미지 변환, 텍스트-이미지 합성에서 검증되었다.

ABSTRACT

Most conditional generation tasks expect diverse outputs given a single conditional context. However, conditional generative adversarial networks (cGANs) often focus on the prior conditional information and ignore the input noise vectors, which contribute to the output variations. Recent attempts to resolve the mode collapse issue for cGANs are usually task-specific and computationally expensive. In this work, we propose a simple yet effective regularization term to address the mode collapse issue for cGANs. The proposed method explicitly maximizes the ratio of the distance between generated images with respect to the corresponding latent codes, thus encouraging the generators to explore more minor modes during training. This mode seeking regularization term is readily applicable to various conditional generation tasks without imposing training overhead or modifying the original network structures. We validate the proposed algorithm on three conditional image synthesis tasks including categorical generation, image-to-image translation, and text-to-image synthesis with different baseline models. Both qualitative and quantitative results demonstrate the effectiveness of the proposed regularization method for improving diversity without loss of quality.

연구 동기 및 목표

• 입력 조건 맥락이 지배적이고 잠재 잡음이 충분히 활용되지 않는 조건 GAN의 모드 붕괴를 해결한다.
• 생성기가 유사한 잠재 벡터를 더 다양한 이미지로 맵핑하도록 장려하는 정규화 항을 도입한다.
• 다양한 베이스라인 모델을 가진 여러 cGAN 작업에 적용하여 방법의 일반성을 입증한다.
• 다양성이 향상되면서 작업 전반에서 이미지 품질이 손상되지 않는 것을 보여준다.

제안 방법

• 이미지 거리와 잠재 코드 거리의 비를 최대화하는 모드 탐색 손실을 정의한다: L_ms = max_G ( d_I(G(c,z1), G(c,z2)) / d_z(z1,z2) ).
• 정규화 항을 기존 목표에 추가한다: L_new = L_ori + lambda_ms * L_ms.
• d_I와 d_z에 대해 L1 거리를 사용하고 모든 실험에서 lambda_ms = 1로 설정한다.
• 네트워크 구조나 훈련 스케줄을 수정하지 않고 기존 아키텍처에 정규화를 적용한다.
• 다양한 베이스라인으로 세 가지 작업(범주 생성, 이미지-이미지 변환, 텍스트-이미지 합성)을 평가한다.

실험 결과

연구 질문

• RQ1 모드 탐색 정규화가 시각적 품질을 손상시키지 않으면서 cGAN의 다양성을 향상시키는가?
• RQ2 제안된 정규화가 모델 특화 수정 없이 다양한 조건 생성 작업에 적용될 수 있는가?
• RQ3 표준 데이터셋에서 기본 모델과 비교해 모드 커버리지가 정규화에 따라 어떻게 달라지는가?
• RQ4 이미지-이미지 변환 및 텍스트-이미지 합성에서 짝지어진 데이터와 비쌍 데이터 설정 전반에 걸쳐 다양성 향상이 견고한가?

주요 결과

• MSGANs는 다양한 작업에서 다양성 지표를 개선하면서 이미지 품질을 유지하거나 향상시킨다.
• 이 방법은 DCGAN, Pix2Pix, DRIT, StackGAN++ 베이스라인과 통합될 때 범주, 이미지-이미지, 텍스트-이미지 합성에서 효과적이다.
• 실험 전반에 걸친 이 방법은 생성 분포에서 더 많은 모드를 만들어내면서도 비슷한 FID를 보여 실제성이 보존됨을 시사한다.
• 이 기법은 최소한의 오버헤드와 네트워크 아키텍처의 변경 없이도 광범위한 적용 가능성을 보여준다.