[论文解读] DA-DETR: Domain Adaptive Detection Transformer by Hybrid Attention

Jingyi Zhang, Jiaxing Huang+3 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 27

一句话总结

DA-DETR 提出了一种单阶段、领域自适应的目标检测 Transformer 模型，通过单一判别器和混合注意力模块，显式对齐跨域的难对齐特征，从而简化了领域自适应过程。尽管结构简单，它通过消除复杂的多框架对抗训练流程，实现了最先进（SOTA）的检测精度。

ABSTRACT

The prevalent approach in domain adaptive object detection adopts a two-stage architecture (Faster R-CNN) that involves a number of hyper-parameters and hand-crafted designs such as anchors, region pooling, non-maximum suppression, etc. Such architecture makes it very complicated while adopting certain existing domain adaptation methods with different ways of feature alignment. In this work, we adopt a one-stage detector and design DA-DETR, a simple yet effective domain adaptive object detection network that performs inter-domain alignment with a single discriminator. DA-DETR introduces a hybrid attention module that explicitly pinpoints the hard-aligned features for simple yet effective alignment across domains. It greatly simplifies traditional domain adaptation pipelines by eliminating sophisticated routines that involve multiple adversarial learning frameworks with different types of features. Despite its simplicity, extensive experiments show that DA-DETR demonstrates superior accuracy as compared with highly-optimized state-of-the-art approaches.

研究动机与目标

• 简化依赖于多个对抗框架和手工设计组件的复杂目标检测领域自适应流程。
• 用更简单的单阶段架构替代 Faster R-CNN 等两阶段检测器，以提升与领域自适应的兼容性。
• 通过一种新颖的混合注意力机制，实现对难对齐特征的有效域间特征对齐。
• 减少对超参数以及如锚框、区域池化和非极大值抑制等工程密集型组件的依赖。
• 在领域自适应目标检测中，通过简化且统一的单判别器训练方案，实现最先进（SOTA）的检测精度。

提出的方法

• 采用基于 Transformer 的单阶段检测器（DETR），消除对锚框、区域建议网络和非极大值抑制的依赖。
• 引入一种混合注意力模块，显式识别并对齐源域与目标域之间的难对齐特征。
• 使用单一领域判别器执行域间特征对齐，替代多框架对抗训练。
• 在 Transformer 解码器中利用交叉注意力机制，融合域不变特征以完成检测。
• 通过单一判别器，将检测损失与对抗性域对齐损失统一于一个训练目标中。
• 在 Transformer 解码器层级实施特征对齐，以增强域泛化能力，且不增加架构复杂度。

实验结果

研究问题

• RQ1 单阶段 Transformer 检测器是否能在简化自适应流程的同时，在领域自适应目标检测中超越两阶段检测器？
• RQ2 与多框架对抗方法相比，单一判别器结合混合注意力机制在对齐跨域难对齐特征方面的有效性如何？
• RQ3 消除锚框和 NMS 等手工设计组件在多大程度上提升了领域自适应性能？
• RQ4 混合注意力模块是否提升了跨域场景下的特征对齐质量与检测精度？
• RQ5 更简单的统一训练框架是否能在不损失性能的前提下实现最先进（SOTA）结果？

主要发现

• DA-DETR 在领域自适应目标检测中，相比高度优化的最先进方法，实现了更优的检测精度。
• 该方法通过用单一判别器替代复杂的多框架对抗训练，显著简化了领域自适应流程。
• 混合注意力模块能有效识别并对齐难对齐特征，提升跨域特征的一致性。
• 单阶段 Transformer 架构降低了对超参数以及锚框、NMS 等工程密集型组件的依赖。
• 该模型在不需大量架构修改的情况下，展现出对域偏移的强大泛化能力。
• 实证结果证实，结合混合注意力的单一判别器设置在保持简洁的同时，实现了最先进（SOTA）的性能表现。