[论文解读] DA-DETR: Domain Adaptive Detection Transformer with Information Fusion

Jingyi Zhang, Jiaxing Huang+4 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications被引用 5

一句话总结

DA-DETR 提出了一种领域自适应目标检测 Transformer 模型，通过一种新颖的 CNN-Transformer 混合模块（CTBlender）融合 CNN 与 Transformer 特征，以提升跨领域特征对齐与知识迁移能力。通过整合分割-合并融合（split-merge fusion）与尺度聚合融合（scale aggregation fusion），DA-DETR 在 Cityscapes→Foggy Cityscapes 上实现了 43.5 的 mAP，优于现有无监督领域自适应基准方法。

ABSTRACT

The recent detection transformer (DETR) simplifies the object detection pipeline by removing hand-crafted designs and hyperparameters as employed in conventional two-stage object detectors. However, how to leverage the simple yet effective DETR architecture in domain adaptive object detection is largely neglected. Inspired by the unique DETR attention mechanisms, we design DA-DETR, a domain adaptive object detection transformer that introduces information fusion for effective transfer from a labeled source domain to an unlabeled target domain. DA-DETR introduces a novel CNN-Transformer Blender (CTBlender) that fuses the CNN features and Transformer features ingeniously for effective feature alignment and knowledge transfer across domains. Specifically, CTBlender employs the Transformer features to modulate the CNN features across multiple scales where the high-level semantic information and the low-level spatial information are fused for accurate object identification and localization. Extensive experiments show that DA-DETR achieves superior detection performance consistently across multiple widely adopted domain adaptation benchmarks.

研究动机与目标

• 为了解决尽管检测 Transformer 模型架构简化，但在领域自适应方面仍缺乏有效方法的问题。
• 通过融合互补的 CNN（定位）与 Transformer（语义）特征，提升无监督领域自适应性能。
• 设计一种统一的特征融合机制，增强跨领域特征对齐，且无需额外的判别器。
• 在多种领域偏移场景下实现泛化能力，包括 Cityscapes→Foggy Cityscapes、KITTI→Cityscapes 以及 PASCAL VOC→Clipart1k。

提出的方法

• 提出一种 CNN-Transformer 混合模块（CTBlender），在多个尺度上融合 CNN 与 Transformer 特征，以提升领域自适应性能。
• 采用分割-合并融合（SMF）将 CNN 特征划分为 K 组，每组由对应的 Transformer 特征调制，实现通道维度与空间维度的信息交换。
• 应用尺度聚合融合（SAF）将不同特征尺度上的 SMF 输出进行融合，聚合多层级的语义与空间信息。
• 将融合后的特征作为单个领域判别器的输入，实现端到端的无监督领域自适应。
• 利用 DETR 中的自注意力机制，有条件地调制 CNN 特征，增强跨领域特征对齐。
• 采用统一的训练流程，联合优化检测与领域对齐任务，损失函数包括交叉熵损失与对抗损失。

Figure 1 : The vanilla Deformable-DETR [ 81 ] trained with labeled source data cannot handle target data well due to cross-domain shift. The introduction of adversarial feature alignment in Deformable-DETR + Direct-align [ 19 ] improves the detection clearly. The proposed DA-DETR fuses CNN features

实验结果

研究问题

• RQ1 CNN 与 Transformer 组件之间的特征融合是否能提升检测 Transformer 中的领域自适应性能？
• RQ2 与传统融合方法（如加法、乘法、卷积）相比，分割-合并融合在跨领域对齐中的表现如何？
• RQ3 在存在较大尺度差异的领域偏移中，跨多尺度融合特征是否能增强模型鲁棒性？
• RQ4 单个领域判别器是否能有效对齐融合后的特征，而无需额外的对齐头？
• RQ5 所提出的 CTBlender 在标准 Cityscapes→Foggy Cityscapes 设置之外的多样化领域自适应基准中是否具备良好泛化能力？

主要发现

• 在 Cityscapes→Foggy Cityscapes 基准上，DA-DETR 实现了 43.5 的 mAP，较之前最先进方法（LS-DeconvNet）高出 0.9 个百分点。
• CTBlender 中的分割-合并融合机制实现了有效的语义分组，可视化显示 32 个组中不同前景区域呈现出显著不同的注意力模式。
• 通过 CTBlender 融合 CNN 与 Transformer 特征后，mAP 相较仅使用 CNN 特征提升了 4.7 个百分点，相较仅使用 Transformer 特征提升了 4.2 个百分点。
• CTBlender 中的尺度聚合融合显著提升了在大尺度领域偏移场景（如 KITTI→Cityscapes 与 PASCAL VOC→Comic2k）下的性能。
• 在 PASCAL VOC→Watercolor2k 与 PASCAL VOC→Comic2k 上，DA-DETR 超过所有最先进方法，展现出在多样化领域偏移场景下的强大泛化能力。
• 消融实验表明，CTBlender 中的分割-合并与尺度聚合组件至关重要，其移除将导致性能显著下降。

Figure 2 : Overview of the proposed DA-DETR: the proposed DA-DETR consists of a base detector (including a backbone $G$ and a transformer encoder-decoder), a discriminator and a CNN-Transformer Blender (CTBlender). Given an input image from either source or target domain, the backbone $G$ first prod