[论文解读] Attention-GAN for Object Transfiguration in Wild Images

Xinyuan Chen, Chang Xu+2 more|arXiv (Cornell University)|Mar 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 5

一句话总结

本文提出 Attention-GAN，一种新颖的 GAN 框架，用于在野外图像中进行物体转换，通过将注意力预测与图像转换解耦。它使用专用的注意力网络生成稀疏、聚焦于物体的掩码，再通过转换网络仅对关注区域进行风格化，显著提升了图像质量和背景一致性，优于先前方法。

ABSTRACT

This paper studies the object transfiguration problem in wild images. The generative network in classical GANs for object transfiguration often undertakes a dual responsibility: to detect the objects of interests and to convert the object from source domain to target domain. In contrast, we decompose the generative network into two separat networks, each of which is only dedicated to one particular sub-task. The attention network predicts spatial attention maps of images, and the transformation network focuses on translating objects. Attention maps produced by attention network are encouraged to be sparse, so that major attention can be paid to objects of interests. No matter before or after object transfiguration, attention maps should remain constant. In addition, learning attention network can receive more instructions, given the available segmentation annotations of images. Experimental results demonstrate the necessity of investigating attention in object transfiguration, and that the proposed algorithm can learn accurate attention to improve quality of generated images.

研究动机与目标

• 解决传统 GAN 在物体转换中的局限性，即单一生成器同时处理物体检测与风格迁移，导致图像质量下降。
• 通过将注意力预测与图像转换任务解耦，提升背景一致性和物体定位准确性。
• 通过稀疏、可学习的注意力机制，仅聚焦于相关图像区域，实现更精确且可解释的物体转换。
• 探索利用分割标注监督注意力网络的益处，提升弱监督设置下的性能。

提出的方法

• 将生成网络分解为两个独立网络：一个注意力网络用于预测空间注意力图，一个转换网络用于对关注区域执行域迁移。
• 应用稀疏正则化损失，以鼓励注意力图保持稀疏，确保注意力集中于显著物体而非分散的背景区域。
• 使用分层操作（逐元素乘法与加法）结合转换网络生成的物体与原始背景，利用预测的注意力掩码实现融合。
• 采用循环一致性损失处理未配对数据，确保转换可逆并保持结构一致性。
• 引入注意力循环一致性损失，强制转换前后注意力图保持不变，维持空间一致性。
• 支持无监督与有监督训练：在有监督设置下，使用真实分割掩码训练注意力网络，以提升定位准确性。

实验结果

研究问题

• RQ1 将注意力预测与图像转换解耦，能否提升野外图像中物体转换的质量与一致性？
• RQ2 对注意力图施加稀疏正则化，如何影响物体定位与背景保留？
• RQ3 通过分割标注进行监督，在多大程度上能提升注意力网络在物体转换中的性能？
• RQ4 所提出的 Attention-GAN 是否在图像质量与结构保真度方面优于 SOTA 方法（如 CycleGAN）？

主要发现

• 在 horse→zebra 任务中，Attention-GAN 在 λattn = 5 时达到 PSNR 24.2173 和 SSIM 0.9367，显著优于基线方法。
• 当 λattn = 1 时，模型在物体覆盖度与背景一致性之间达到最佳平衡，优于较低和较高正则化设置。
• 使用分割掩码进行有监督训练可生成更精确的注意力图，深红色/蓝色掩码表示高置信度的物体检测，且背景干扰减少。
• 定性结果表明，无监督的 Attention-GAN 和 CycleGAN 常将面部区域误判为目标，导致其被转换为条纹状，而所提方法能正确保留这些区域。
• 消融实验确认稀疏损失至关重要：若无该损失，注意力图会错误地突出背景区域，导致图像质量下降。
• 模型最终输出为原始背景与转换后物体的组合，经中间特征可视化验证，确认分层操作的有效性。