[论文解读] InstaFormer: Instance-Aware Image-to-Image Translation with Transformer

Soo-Hyun Kim, Jongbeom Baek+3 more|arXiv (Cornell University)|Mar 30, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

InstaFormer 提出了一种基于 Transformer 的架构，用于实例感知的图像到图像翻译，通过自注意力机制联合建模全局特征与实例级特征，提升了对象级别的翻译保真度。通过集成实例级内容对比损失和自适应实例归一化（AdaIN），其在内容丰富的场景翻译和域自适应目标检测任务中达到了最先进性能。

ABSTRACT

We present a novel Transformer-based network architecture for instance-aware image-to-image translation, dubbed InstaFormer, to effectively integrate global- and instance-level information. By considering extracted content features from an image as tokens, our networks discover global consensus of content features by considering context information through a self-attention module in Transformers. By augmenting such tokens with an instance-level feature extracted from the content feature with respect to bounding box information, our framework is capable of learning an interaction between object instances and the global image, thus boosting the instance-awareness. We replace layer normalization (LayerNorm) in standard Transformers with adaptive instance normalization (AdaIN) to enable a multi-modal translation with style codes. In addition, to improve the instance-awareness and translation quality at object regions, we present an instance-level content contrastive loss defined between input and translated image. We conduct experiments to demonstrate the effectiveness of our InstaFormer over the latest methods and provide extensive ablation studies.

研究动机与目标

• 解决现有图像到图像翻译方法在处理包含多个对象实例的丰富内容场景时的局限性。
• 通过建模对象实例与全局图像上下文之间的交互，提升翻译中的实例感知能力。
• 通过一种新颖的实例级内容对比损失，提升对象区域的翻译质量。
• 通过将 Transformer 编码器中的 LayerNorm 替换为 AdaIN，实现使用风格代码的多模态翻译。
• 在实例感知翻译及下游任务（如域自适应目标检测）中展示优越性能。

提出的方法

• 将从图像中提取的内容特征视为 Transformer 编码器中的 token，通过自注意力机制建模全局上下文。
• 利用边界框信息从内容特征中提取实例级特征，并将其与全局 token 融合，以增强实例感知表征。
• 引入位置嵌入，联合建模全局与实例级 patch，以提升空间感知能力。
• 将标准 LayerNorm 替换为自适应实例归一化（AdaIN），以支持使用风格代码的多模态翻译。
• 在 Transformer 的输入和输出端引入卷积 patch 嵌入与反卷积模块，以降低计算成本。
• 在输入图像与翻译后图像之间引入实例级内容对比损失，以改善对象区域的特征对齐。

Figure 1 : Results of InstaFormer for instance-aware image-to-image translation. Our InstaFormer effectively considers global- and instance-level information with Transformers, which enables high quality instance-level translation.

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效整合全局与实例级特征，实现实例感知的图像到图像翻译？
• RQ2 所提出的实例级对比损失相较于标准对比损失，如何提升物体级别的翻译保真度？
• RQ3 在缺乏循环一致性约束的条件下，将 LayerNorm 替换为 AdaIN 在多模态翻译能力上的提升程度如何？
• RQ4 与现有 SOTA 方法相比，InstaFormer 在下游任务（如域自适应目标检测）中的表现如何？
• RQ5 各组件（如 Transformer 编码器、对比损失、AdaIN）对整体翻译质量与实例感知能力的贡献分别是什么？

主要发现

• InstaFormer 在实例感知图像到图像翻译基准上达到最先进性能，优于 CUT、DUNIT 和 MGUIT。
• 消融实验表明，实例级对比损失显著提升了物体级别的清晰度并减少了模糊，尤其在复杂场景中效果明显。
• 将 Transformer 编码器替换为 MLP-Mixer 后性能相当，表明该框架对主干网络选择具有鲁棒性。
• InstaFormer 在 KITTI→Cityscapes 域自适应检测基准上达到 mAP 55.5，优于 DUNIT（54.1）和 MGUIT（54.6）。
• 人工评估确认，InstaFormer 在整体图像质量、语义一致性和风格一致性方面均优于基线方法。
• 移除 AdaIN 后生成结果变为单模态且风格保持能力下降，证明其在多模态翻译中的关键作用。

(a) Architecture