[论文解读] MTTrans: Cross-Domain Object Detection with Mean-Teacher Transformer

Jinze Yu, Jiaming Liu+8 more|arXiv (Cornell University)|May 3, 2022

Advanced Neural Network Applications被引用 4

一句话总结

MTTrans 提出了一种基于均值教师训练范式和可变形 DETR 中多层次特征对齐的端到端跨域目标检测框架。通过从无标签目标数据中生成高质量伪标签，并在全局、实例和局部三个层次上对齐跨域特征，MTTrans 在 Sim10k 到 Cityscapes 基准上实现了最先进性能，mAP 从 52.6 显著提升至 57.9。

ABSTRACT

Recently, DEtection TRansformer (DETR), an end-to-end object detection pipeline, has achieved promising performance. However, it requires large-scale labeled data and suffers from domain shift, especially when no labeled data is available in the target domain. To solve this problem, we propose an end-to-end cross-domain detection Transformer based on the mean teacher framework, MTTrans, which can fully exploit unlabeled target domain data in object detection training and transfer knowledge between domains via pseudo labels. We further propose the comprehensive multi-level feature alignment to improve the pseudo labels generated by the mean teacher framework taking advantage of the cross-scale self-attention mechanism in Deformable DETR. Image and object features are aligned at the local, global, and instance levels with domain query-based feature alignment (DQFA), bi-level graph-based prototype alignment (BGPA), and token-wise image feature alignment (TIFA). On the other hand, the unlabeled target domain data pseudo-labeled and available for the object detection training by the mean teacher framework can lead to better feature extraction and alignment. Thus, the mean teacher framework and the comprehensive multi-level feature alignment can be optimized iteratively and mutually based on the architecture of Transformers. Extensive experiments demonstrate that our proposed method achieves state-of-the-art performance in three domain adaptation scenarios, especially the result of Sim10k to Cityscapes scenario is remarkably improved from 52.6 mAP to 57.9 mAP. Code will be released.

研究动机与目标

• 解决从有标签源域向无标签目标域迁移时目标检测中的域偏移问题。
• 克服先前无监督域自适应方法因缺乏标注而未能充分利用无标签目标数据的局限性。
• 在存在域偏移的情况下，提升均值教师框架生成伪标签的质量。
• 提出一种全面的多层次特征对齐策略，以增强基于 Transformer 的检测器的域不变表示学习能力。
• 实现在端到端设置下，伪标签生成与特征对齐之间的迭代互优化。

提出的方法

• 将均值教师框架适配至目标检测中的无监督域自适应（UDA），采用学生-教师模型设置，并对教师网络使用指数移动平均（EMA）。
• 引入基于领域查询的特征对齐（DQFA），利用跨尺度自注意力机制对齐全局图像和目标提议特征。
• 提出基于双层图的原型对齐（BGPA），通过从目标特征构建的原型来建模并对齐实例级特征。
• 实现逐标记的图像特征对齐（TIFA），在图像特征图的标记级别对齐局部特征。
• 将均值教师框架与多层次特征对齐相结合，以端到端方式联合优化伪标签质量和特征对齐。
• 在训练过程中使用伪标签化的目标域数据，以提升特征提取能力和模型泛化能力，实现对无标签数据的充分利用。

实验结果

研究问题

• RQ1 均值教师框架能否在源域与目标域存在显著分布偏移时，有效适配至目标检测的无监督域自适应？
• RQ2 在教师模型不具备域不变性的情况下，如何提升均值教师生成伪标签的质量？
• RQ3 在基于 Transformer 的目标检测器中，哪些多层次特征对齐策略最有效于增强域不变表示学习？
• RQ4 伪标签生成与特征对齐之间的联合优化在跨域设置下在多大程度上提升了检测性能？
• RQ5 所提出框架的各个组件（如 DQFA、BGPA、TIFA）对域自适应整体性能提升的贡献如何？

主要发现

• MTTrans 在 Sim10k 到 Cityscapes 基准上实现了新的最先进 mAP 57.9，相比之前 SOTA 的 52.6 mAP 显著提升。
• 消融研究显示，移除解码器特有的 DQFA 组件导致性能下降最大（-0.451 mAP），凸显其在全局特征对齐中的关键作用。
• 在解码器中用 TIFA 替换 BGPA 导致性能下降 -0.460 mAP，而在编码器中用 BGPA 替换 TIFA 导致性能下降 -0.345 mAP，表明各组件的特定设计至关重要。
• 移除教师与学生模型之间的共享目标查询导致性能下降最大（-0.616 mAP），证实了查询学习一致性的重要性。
• 伪标签可视化结果表明，MTTrans 生成的伪标签质量高于 MT-DefDETR，且教师模型的预测比学生更准确，从而实现了有效的知识蒸馏。
• 在 Foggy Cityscapes 上的定性结果表明，与 Deformable DETR 和 SFA 相比，MTTrans 更好地检测到远距离和被雾霾遮挡的物体，且对真正例的置信度更高。