[论文解读] Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data

Amjad Almahairi, Sai Rajeswar+3 more|arXiv (Cornell University)|Feb 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用 315

一句话总结

增强型 CycleGAN 通过在域中加入潜在编码并在增强空间中强制循环一致性，学习来自未配对数据的多对多跨域映射，从而使每个输入产生多样化输出。它在若干任务上优于具有确定性映射的循环 GAN，并支持带属性的人脸翻译的半监督学习。

ABSTRACT

Learning inter-domain mappings from unpaired data can improve performance in structured prediction tasks, such as image segmentation, by reducing the need for paired data. CycleGAN was recently proposed for this problem, but critically assumes the underlying inter-domain mapping is approximately deterministic and one-to-one. This assumption renders the model ineffective for tasks requiring flexible, many-to-many mappings. We propose a new model, called Augmented CycleGAN, which learns many-to-many mappings between domains. We examine Augmented CycleGAN qualitatively and quantitatively on several image datasets.

研究动机与目标

• 解决 CycleGAN 在跨域翻译中对其确定性的一对一映射的局限性。
• 提出 Augmented CycleGAN，通过辅助潜在空间来建模多对多映射。
• 展示在给定输入下跨不同域生成多样化输出。
• 展示在与大幅差异的域以及带配对数据的半监督学习中的适用性。

提出的方法

• 引入 G_{A→B}(a,z_b) 与 G_{B→A}(b,z_a)，作用在扩展空间 A×Z_b 与 B×Z_a。
• 使用编码器 E_A 与 E_B 将 (A,B) 对映射到潜在编码 z_a 与 z_b。
• 应用对抗损失以匹配生成的对以及 (B, Z_a) 与 (A, Z_b) 的先验分布（边际匹配）。
• 在扩展空间上通过重构 a′ 与 z_b′ 强制循环一致性，确保通过潜在编码的信息得以保留。
• 加入两周期损失：从 (a,z_b) 重构 a，以及从 (a,z_b) 重构 z_b，以最大化互信息 I(b,z_b|a)。
• 可选地扩展到半监督训练，在可用的配对数据 (a,b) 的监督下，对 G_{A→B} 与 G_{B→A} 进行监督。

实验结果

研究问题

• RQ1 是否可以通过在域中加入潜在编码来从未配对数据中学习多对多跨域映射？
• RQ2 扩展的循环一致性损失是否能保留信息并在给定输入下产生多样化输出？
• RQ3 与 CycleGAN 及随机变体相比，Augmented CycleGAN 在不同域对（边缘→照片、人脸→属性）上的表现如何？
• RQ4 在仅有有限配对数据的半监督设置下，模型能否有效训练？
• RQ5 哪些结构选择（如条件归一化）能提高随机映射的多样性和稳定性？

主要发现

Model	Paired %	Avg L1 / Reconstruction Error	MSE	P@10 / NDCG@10 (s=1%)	P@10 / NDCG@10 (s=10%)
CycleGAN	0	0.1837	-	-	-
StochCGAN	0	0.0794	-	-	-
Δ-GAN	10	-	0.0102	40.97 / 50.74	62.13 / 73.56
AugCGAN	0	0.0698	0.0079	64.38 / 80.59	68.83 / 85.51
AugCGAN	10	0.0562	0.0052	-	-

• AugCGAN 通过对潜在编码 z_b 与 z_a 进行采样，为给定输入产生多样化输出。
• 在 edges-to-photos 上，AugCGAN 的重构误差（L1）低于 CycleGAN 和 Stochastic CycleGAN，尤其在只有 10% 的配对数据时。
• AugCGAN 在预测鞋子边缘到边缘的 MSE 方面低于 Δ-GAN，且在有监督时进一步提升，且架构相近。
• 定性结果显示 AugCGAN 在生成图像上保持多样性，并避免了 Stochastic CycleGAN 所观察到的模式崩溃。
• 在 CelebA 属性到人脸任务中，AugCGAN 在半监督设置下实现与基线相比具有竞争力或更优的精确度和 nDCG。
• 模型在保留真实感的同时，通过潜在条件实现有意义的变化，在多样性指标上优于基线。