[论文解读] DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)

Shuang Ma, Jianlong Fu+2 more|arXiv (Cornell University)|Feb 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 11

一句话总结

DA-GAN 提出了一种新颖的无监督图像翻译框架，通过利用深度注意力生成器对抗网络，学习未配对图像域之间的实例级对应关系。通过将注意力机制整合到 GAN 架构中，并采用包含一致性、对称性和多对抗项的复合损失函数，DA-GAN 在姿态变形、物体配置和数据增强任务中表现出色，显著减少了模式崩溃现象，并生成了高保真度、语义对齐的图像。

ABSTRACT

Unsupervised image translation, which aims in translating two independent sets of images, is challenging in discovering the correct correspondences without paired data. Existing works build upon Generative Adversarial Network (GAN) such that the distribution of the translated images are indistinguishable from the distribution of the target set. However, such set-level constraints cannot learn the instance-level correspondences (e.g. aligned semantic parts in object configuration task). This limitation often results in false positives (e.g. geometric or semantic artifacts), and further leads to mode collapse problem. To address the above issues, we propose a novel framework for instance-level image translation by Deep Attention GAN (DA-GAN). Such a design enables DA-GAN to decompose the task of translating samples from two sets into translating instances in a highly-structured latent space. Specifically, we jointly learn a deep attention encoder, and the instancelevel correspondences could be consequently discovered through attending on the learned instance pairs. Therefore, the constraints could be exploited on both set-level and instance-level. Comparisons against several state-ofthe- arts demonstrate the superiority of our approach, and the broad application capability, e.g, pose morphing, data augmentation, etc., pushes the margin of domain translation problem.

研究动机与目标

• 为了解决现有无监督图像翻译方法仅依赖集合级分布匹配所带来的局限性，避免出现假阳性结果和模式崩溃现象。
• 在无配对训练数据的条件下，发现有意义的实例级对应关系（如语义部件、物体几何结构）。
• 通过一种新型复合损失函数，同时增强实例级和集合级约束，以提升图像翻译性能。
• 在姿态变形、物体重构和数据增强等任务中，提升图像的视觉保真度和语义一致性。

提出的方法

• 将注意力机制集成到 GAN 的生成器中，通过在潜在空间中关注有意义的语义部件，学习实例级对应关系。
• 提出一种复合损失函数，结合一致性损失（确保潜在空间中的语义对齐）、对称性损失（强制实现一一映射）以及多对抗损失（防止模式崩溃）。
• 采用深度注意力编码器（DAE）将源域和目标域图像映射到一个结构化的潜在空间，以学习实例级对齐。
• 采用多对抗训练策略，使目标域中所有模式的概率质量分布更加均衡，从而缓解模式崩溃问题。
• 微调 VGG19 网络用于特征提取，并使用 Inception Score 和缺失模式数量作为评估指标。
• 将该框架应用于多种任务，包括文本到图像翻译、姿态变形、物体配置以及数据增强。

实验结果

研究问题

• RQ1 无监督图像翻译能否在无配对数据的情况下学习到有意义的实例级对应关系？
• RQ2 如何有效将注意力机制整合到 GAN 中，以提升图像翻译中的语义对齐效果？
• RQ3 结合一致性、对称性和多对抗项的复合损失是否能有效减少模式崩溃并提升翻译质量？
• RQ4 DA-GAN 在需要几何与语义保真度的任务中，相较于最先进方法，性能提升程度如何？
• RQ5 DA-GAN 是否能在包括姿态变形和数据增强在内的多样化应用场景中实现良好泛化？

主要发现

• DA-GAN 的 Inception Score 达到 20.9，显著高于 VAT（10.3）和 CycleGAN（11.4），表明其图像质量更高且多样性更优。
• DA-GAN 的缺失模式数量大幅减少，证明其对目标域模式的覆盖更加全面有效。
• 在物体配置任务中，DA-GAN 在 CUB-200-2011 数据集上达到 88.9% 的 Top-1 准确率，优于 VAT（42.1%）和 CycleGAN（62.1%）。
• DA-GAN 生成的图像在细节清晰度和伪影数量方面优于 CycleGAN 和 VAT，尤其在几何结构和细粒度属性迁移方面表现更优。
• 利用 10,000 张 DA-GAN 生成的鸟类图像进行数据增强，将细粒度分类准确率从 79.0% 提升至 81.6%。
• DA-GAN 能够成功将人脸图像翻译为动画风格，同时保持身份一致性，其表现优于 VAT，后者生成的结果存在领域错配和明显伪影。