[논문 리뷰] Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation

Runfa Chen, Wenbing Huang외 3명|arXiv (Cornell University)|2020. 02. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 14

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 기반의 비지도 이미지-이미지 번역 프레임워크인 NICE-GAN을 제안한다. 이 방법은 타겟 도메인을 위한 플러그인 인코더로 판별기의 초기 레이어를 재사용함으로써 별도의 인코더가 필요 없도록 한다. 인코더 학습을 생성기에서 분리하고 GAN 적대적 손실에만 기반해 학습시킴으로써, 더 컴act하고 효과적인 아키텍처를 구현하며, 네 개의 데이터셋에서 FID, KID 및 인간 선호도 평가 지표에서 최신 기술을 초월한다.

ABSTRACT

Unsupervised image-to-image translation is a central task in computer vision. Current translation frameworks will abandon the discriminator once the training process is completed. This paper contends a novel role of the discriminator by reusing it for encoding the images of the target domain. The proposed architecture, termed as NICE-GAN, exhibits two advantageous patterns over previous approaches: First, it is more compact since no independent encoding component is required; Second, this plug-in encoder is directly trained by the adversary loss, making it more informative and trained more effectively if a multi-scale discriminator is applied. The main issue in NICE-GAN is the coupling of translation with discrimination along the encoder, which could incur training inconsistency when we play the min-max game via GAN. To tackle this issue, we develop a decoupled training strategy by which the encoder is only trained when maximizing the adversary loss while keeping frozen otherwise. Extensive experiments on four popular benchmarks demonstrate the superior performance of NICE-GAN over state-of-the-art methods in terms of FID, KID, and also human preference. Comprehensive ablation studies are also carried out to isolate the validity of each proposed component. Our codes are available at https://github.com/alpc91/NICE-GAN-pytorch.

연구 동기 및 목표

• 생성적 적대적 네트워크 기반의 이미지 번역 프레임워크에서 판별기의 역할을 분류를 넘어서 재고하고자 한다.
• 타겟 도메인을 위한 공유 인코더로 판별기의 초기 레이어를 재사용함으로써 별도의 인코더가 필요 없도록 하고자 한다.
• 생성기와 판별기 사이에서 인코더를 공유할 경우 발생하는 모순적 기울기로 인한 학습 불안정성을 해결하고자 한다.
• 학습 안정성과 인코더 품질을 향상시키기 위해 인코더 학습을 분리하는 전략을 개발하고자 한다.
• 판별기 기반으로 학습된 인코더가 생성기 기반으로 학습된 인코더보다 더 정보적인 특징을 제공할 수 있음을 입증하고자 한다.

제안 방법

• 판별기의 초기 합성곱 레이어를 타겟 도메인을 위한 공유 인코더로 재사용함으로써 별도의 인코더 구성 요소가 필요 없도록 한다.
• 다중 척도 판별기 아키텍처를 적용하여 특징 표현력을 향상시키며, 이를 재사용된 인코더가 자연스럽게 이어받는다.
• 인코더가 생성기 학습 중에는 업데이트되지 않고, 판별기 학습 중에만 업데이트되는 분리된 학습 철학을 도입한다 (GAN 손실 최대화를 위해).
• 번역 정밀도를 유지하기 위해 사이클 일致성 및 재구성 손실을 유지하며, 인코더는 적대적 목적에 의해 독립적으로 학습된다.
• 판별기 내부의 특징을 잠재 표현으로 사용함으로써 공유 파라미터를 통해 엔드 투 엔드 학습이 가능하며, 모델 복잡도가 감소한다.
• 인코더가 번역을 위한 것이 아니라 판별 성능 향상을 위해 학습되도록 수정된 GAN 목적함수를 사용함으로써 기울기 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 판별기의 내부 특징을 비지도 이미지 번역을 위한 의미 있는 인코더로 효과적으로 재사용할 수 있는가?
• RQ2 판별기를 인코더로 재사용할 경우 더 컴act하고 효율적인 모델 아키텍처를 얻을 수 있는가?
• RQ3 생성기 학습에서 인코더 학습을 분리함으로써 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 판별기 기반 인코더가 전통적인 별도의 인코더보다 특징 품질과 번역 정밀도 측면에서 뛰어나게 되는가?
• RQ5 다중 척도 판별기와 공유 레이어의 영향은 프레임워크의 전체 성능에 어떤 영향을 미치는가?

주요 결과

• NICE-GAN은 네 개의 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, FID, KID 및 인간 선호도 평가에서 모두 승리한다.
• 분리된 학습 전략이 학습 안정성과 성능 향상에 크게 기여하며, NICE-GAN은 모든 지표에서 NICE-GAN-1(공동 학습)과 NICE-GAN-2(반대 방향 분리)를 모두 앞선다.
• 다중 척도 판별기의 최고 해상도 특징 맵($C^2_x$)을 제거할 경우 성능이 심각하게 저하되며, 이는 특징 학습에 핵심적인 역할을 함을 시사한다.
• 생성기와 판별기 사이에서 전체 인코더를 공유할 경우 최적의 성능을 얻으며, 공유 레이어를 줄이거나 늘릴 경우 성능이 떨어진다.
• 생성기나 판별기 간에 파라미터를 공유하는 가중치 커파링 전략은 심각한 성능 저하를 초래하며, 제안된 분리된 설계의 우수성을 입증한다.
• t-SNE 시각화와 MMD 분석을 통해 NICE-GAN이 베이스라인 대비 더 분리되고 도메인에 맞는 잠재 표현을 학습하는 것으로 확인된다.