[논문 리뷰] Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data

Amjad Almahairi, Sai Rajeswar외 3명|arXiv (Cornell University)|2018. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 315

한 줄 요약

증강된 CycleGAN은 도메인을 잠재 코드로 확장하고 증강된 공간에서 사이클 일관성을 강제함으로써 비쌍 데이터에서 입력당 다양한 출력을 가능하게 하는 다대다 교차 도메인 매핑을 학습한다. 이는 여러 작업에서 결정론적 매핑을 사용하는 사이클보다 우수하며, 속성-얼굴 번역과 함께 반지도 학습을 지원한다.

ABSTRACT

Learning inter-domain mappings from unpaired data can improve performance in structured prediction tasks, such as image segmentation, by reducing the need for paired data. CycleGAN was recently proposed for this problem, but critically assumes the underlying inter-domain mapping is approximately deterministic and one-to-one. This assumption renders the model ineffective for tasks requiring flexible, many-to-many mappings. We propose a new model, called Augmented CycleGAN, which learns many-to-many mappings between domains. We examine Augmented CycleGAN qualitatively and quantitatively on several image datasets.

연구 동기 및 목표

• CycleGAN의 교차 도메인 번역에서의 결정론적 일대일 매핑 한계 해결
• auxiliary 잠재 공간을 통해 다대다 매핑을 모델링하기 위한 Augmented CycleGAN 제안
• 주어진 입력에 대해 다양한 도메인에서 다양한 출력을 생성하는 능력 시연
• 상당히 다른 도메인에 대한 적용 가능성과 짝지어진 데이터가 제한된 상황에서의 반지도 학습 시연

제안 방법

• G_{A→B}(a,z_b) 및 G_{B→A}(b,z_a)가 확장 공간 A×Z_b 및 B×Z_a에서 작동하도록 도입
• 인코더 E_A 및 E_B를 사용하여 (A,B) 쌍을 잠재 코드 z_a 및 z_b로 매핑
• 생성된 쌍과 (B, Z_a) 및 (A, Z_b)에 대한 사전 분포를 맞추기 위한 적대적 손실(마진얼라인)
• 확장 공간에서 a′ 및 z_b′를 재구성하여 정보가 잠재 코드로부터 보존되도록 사이클-일관성 강화
• 두 사이클 손실 도입: (a,z_b)에서 a를 재구성하고 (a,z_b)에서 z_b를 재구성하여 상호정보(I(b,z_b|a))를 최대화
• 가용한 짝지어진 데이터 (a,b)를 사용한 반지도 학습으로 확장하여 G_{A→B} 및 G_{B→A}를 감독할 수 있음

실험 결과

연구 질문

• RQ1 잠재 코드를 통해 도메인을 확장함으로써 비쌍 데이터에서 다대다 교차 도메인 매핑을 학습할 수 있는가?
• RQ2 확장된 사이클-일관성 손실이 정보를 보존하고 주어진 입력에 대해 다양한 출력을 가능하게 하는가?
• RQ3 서로 다른 도메인 쌍(edges→photos, faces→attributes)에 대해 Augmented CycleGAN은 CycleGAN 및 확률적 변형과 비교하여 어떤 성능을 보이는가?
• RQ4 제한된 짝지어진 데이터로 반지도 설정에서 모델을 효과적으로 학습할 수 있는가?
• RQ5 다양성 및 안정성을 향상시키는 아키텍처 선택(예: Conditional Normalization)이 확률적 매핑에 어떤 영향을 미치는가?

주요 결과

모델	짝지음 %	평균 L1 / 재구성 오차	MSE	P@10 / NDCG@10 (s=1%)	P@10 / NDCG@10 (s=10%)
CycleGAN	0	0.1837	-	-	-
StochCGAN	0	0.0794	-	-	-
Δ-GAN	10	-	0.0102	40.97 / 50.74	62.13 / 73.56
AugCGAN	0	0.0698	0.0079	64.38 / 80.59	68.83 / 85.51
AugCGAN	10	0.0562	0.0052	-	-

• AugCGAN은 잠재 코드 z_b 및 z_a를 샘플링하여 주어진 입력에 대해 다양한 출력을 생성한다.
• edges→photos에서 AugCGAN은 CycleGAN 및 Stochastic CycleGAN에 비해 재구성 오차(L1)가 더 낮으며, 특히 10% 짝지어진 데이터에서 그렇다.
• AugCGAN은 신발에서 가장자리를 예측하는 데 있어 유사한 아키텍처의 Δ-GAN 대비 더 낮은 MSE를 달성하고 감독이 있을 때 더 향상된다.
• 정성적 결과에서 AugCGAN은 생성된 이미지 간 다양성을 유지하고 Stochastic CycleGAN에서 관찰된 모드 붕괴를 회피한다.
• CelebA 속성→얼굴 과제에서 AugCGAN은 반지도 설정에서 기준 모델과 비교해 정밀도와 nDCG가 경쟁력 있거나 우수하다.
• 모델은 현실적인 모습은 보존하면서 잠재 조건 부여를 통해 의미 있는 변화를 가능하게 하며 다양성 지표에서 기준 모델보다 우수하다