[论文解读] GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation

Wallace Lira, Johannes Merz+3 more|arXiv (Cornell University)|Feb 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 7

一句话总结

GANHopper 提出了一种用于无监督图像到图像翻译的多跳生成对抗网络，该网络在无配对数据的情况下学习域之间渐进、分步的转换（例如，猫到狗）。通过利用新型混合判别器和光滑性正则化，强制中间图像呈现加权混合特征，该方法在有效建模复杂的几何和形状变化的同时，显著提升了非领域特异性特征（如色彩方案）的保留效果。

ABSTRACT

We introduce GANHopper, an unsupervised image-to-image translation network that transforms images gradually between two domains, through multiple hops. Instead of executing translation directly, we steer the translation by requiring the network to produce in-between images that resemble weighted hybrids between images from the input domains. Our network is trained on unpaired images from the two domains only, without any in-between images. All hops are produced using a single generator along each direction. In addition to the standard cycle-consistency and adversarial losses, we introduce a new hybrid discriminator, which is trained to classify the intermediate images produced by the generator as weighted hybrids, with weights based on a predetermined hop count. We also add a smoothness term to constrain the magnitude of each hop, further regularizing the translation. Compared to previous methods, GANHopper excels at image translations involving domain-specific image features and geometric variations while also preserving non-domain-specific features such as general color schemes.

研究动机与目标

• 解决在需要大幅几何变化和领域特异性特征改变时，无监督图像到图像翻译的挑战。
• 在无配对训练数据或中间图像监督的情况下，实现可控的、渐进的域间转换。
• 在转换领域特异性特征（如面部几何结构）的同时，保留非领域特异性特征（如色彩方案）。
• 通过多跳学习约束搜索空间，提升复杂翻译任务中的泛化能力和稳定性。

提出的方法

• 该网络通过多跳进行翻译，每跳生成的图像均为源域和目标域图像的加权混合，其权重由跳数决定。
• 训练一种新型混合判别器，根据跳数索引将中间图像分类为特定的源域与目标域加权组合。
• 每个方向仅使用一个生成器，计算效率与 CycleGAN 相当。
• 引入一种混合损失，用于评估中间图像与其对应跳数下预期的域混合程度的匹配程度。
• 引入光滑性损失，惩罚连续跳数之间的大幅偏差，确保转换过程平滑稳定。
• 训练框架结合了循环一致性损失、对抗损失、混合损失和光滑性损失，所有损失端到端联合优化。

实验结果

研究问题

• RQ1 多跳翻译能否提升无监督图像到图像翻译中复杂几何与形状变化的建模能力？
• RQ2 如何在无显式监督或配对数据的情况下，引导生成器产生有意义的中间图像？
• RQ3 在大规模领域转换过程中，非领域特异性特征（如色彩方案）能被多大程度地保留？
• RQ4 光滑性损失与混合损失对翻译质量与稳定性的具体影响是什么？
• RQ5 采用多跳约束的简单单生成器架构，能否优于更复杂的解耦或基于潜在空间的方法？

主要发现

• GANHopper 在保留输入特定特征（如毛发颜色和纹理图案）方面优于 CycleGAN 和 GANimorph，尤其在长鼻犬等复杂案例中表现更优。
• 光滑性损失显著减少了如对象消失（例如斑马腿消失）等伪影，且损失权重越高，该失败模式的缓解效果越明显。
• 混合判别器有效监督了中间图像的质量，确保生成图像在各跳中与预期的域混合特征保持一致。
• 提高混合损失权重（δ）可提升域混合准确性，但若设置过高，可能引入不对称性或伪影。
• 在使用 4 跳时，GANHopper 的转换过程比直接翻译更平滑、更符合人类感知，经人工评估和定量指标验证。
• 该方法在多种色彩方案和几何变化下均保持稳定性能，展示了在狗到猫与猫到狗翻译任务中的强大鲁棒性。