[논문 리뷰] Toward Multimodal Image-to-Image Translation

Jun-Yan Zhu, Richard Zhang외 5명|arXiv (Cornell University)|2017. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 739

한 줄 요약

이 논문은 잠재 코드와 출력 간의 양방향 연결을 강제하여 다양한 결과를 생성하고 prior GAN 기반 접근에서의 모드 붕괴를 해결하는 다모달 조건부 이미지-투-이미지 번역 모델의 가족인 BicycleGAN을 소개합니다.

ABSTRACT

Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a \emph{distribution} of possible outputs in a conditional generative modeling setting. The ambiguity of the mapping is distilled in a low-dimensional latent vector, which can be randomly sampled at test time. A generator learns to map the given input, combined with this latent code, to the output. We explicitly encourage the connection between output and the latent code to be invertible. This helps prevent a many-to-one mapping from the latent code to the output during training, also known as the problem of mode collapse, and produces more diverse results. We explore several variants of this approach by employing different training objectives, network architectures, and methods of injecting the latent code. Our proposed method encourages bijective consistency between the latent encoding and output modes. We present a systematic comparison of our method and other variants on both perceptual realism and diversity.

연구 동기 및 목표

• 모호한 이미지-대-이미지 번역 작업에 대해 가능해 보이는 출력들의 분포를 모델링하고 샘플링한다.
• 입력에 나타나지 않는 출력 모달리티를 캡처하기 위한 저차원 잠재 공간을 개발한다.
• 잠재 코드와 출력 간의 쌍방향 일관성을 강제하여 모드 붕괴를 완화한다.
• 현실성 및 다양성을 극대화하기 위한 여러 학습 목표 및 아키텍처를 탐구하고 비교한다.
• 조건부 VAE-GAN과 잠재 회귀기 접근법을 결합한 BicycleGAN라는 통합 프레임워크를 제공한다.

제안 방법

• prior p(z)에서 뽑은 저차원 잠재 코드 z를 사용해 다양한 출력을 생성하는 pix2pix 확장(G(A, z))를 적용한다.
• 세 가지 접근 방식을 소개하고 비교한다: cVAE-GAN(B가 KL 정규화를 통해 B에서 인코딩), cLR-GAN(G(A, z)에서 z 회복을 강제하는 잠재 회귀기), 그리고 이들의 결합으로 BicycleGAN을 구성한다.
• 양방향 제약 조건을 강제한다: B -> z -> G(A, z) 및 z -> G(A, z) -> E(G(A, z))로 injective 매핑과 더 풍부한 모드 커버리지를 보장한다.
• U-Net 제너레이터와 함께 두 개의 인코더(E CNN 또는 E ResNet)와 두 개의 판별기(Two PatchGANs at different scales)를 사용하고, 가능한 경우 Least Squares GAN 손실과 L1 재구성 항을 적용한다.
• 다양한 통합 전략을 탐색하기 위해 add_to_input 또는 add_to_all을 통해 제너레이터에 z를 주입한다.

실험 결과

연구 질문

• RQ1 A가 주어졌을 때 조건부 분포 p(B|A)를 모델링하고 샘플링해 A에 충실하면서도 다양한 출력을 생성할 수 있는가?
• RQ2 잠재 코드를 출력과 양방향으로 일관되게 유지하면 모드 붕괴를 줄이고 현실성을 유지할 수 있는가?
• RQ3 cVAE-GAN, cLR-GAN, 그리고 이들의 조합(BicycleGAN)이 표준 다모달 번역 작업에서 현실성과 다양성 측면에서 어떻게 비교되는가?
• RQ4 인코더 아키텍처와 잠재 코드 주입 방식이 재구성 및 다양성에 어떤 영향을 미치는가?
• RQ5 잠재 코드 길이가 데이터셋마다 다양성과 현실성에 어떤 영향을 미치는가?

주요 결과

• BicycleGAN은 일부 변형에서 관찰되는 모드 붕괴 없이 기본 방법보다 더 높은 현실성과 다양성을 달성한다.
• 다양성은 LPIPS로 측정했을 때 cVAE-GAN, cVAE-GAN++, cLR-GAN, BicycleGAN이 베이스라인보다 높고, 현실성은 Hybrid 목표에서 향상된다.
• cLR-GAN만으로는 심각한 모드 붕괴(약 15%의 동일한 출력)가 발생할 수 있는 반면 전체 BicycleGAN은 붕괴를 회피하고 최고 현실성을 보인다.
• 인코더 선택이 잠재 인코딩 품질에 영향을 주고, 일반적으로 E ResNet이 E CNN보다 잠재 재구성에서 더 나은 경향을 보여 성능에 영향을 준다.
• 두 가지 잠재 주입 방식(add_to_input 대 add_to_all)은 비슷한 성능을 보여주며 최종 결과에선 add_to_all이 선호된다.
• 잠재 코드 길이는 다양성과 현실성에 영향을 미치며, 너무 작으면 다양성이 제한되고 너무 크면 샘플링에 장애가 될 수 있다; 최적 길이는 데이터셋에 따라 다르다.