[论文解读] Cross-Domain Adaptive Teacher for Object Detection

Yu-Jhe Li, Xiaoliang Dai+7 more|arXiv (Cornell University)|Nov 25, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出自适应教师（Adaptive Teacher, AT），一种新颖的教师-学生框架，用于跨域目标检测，通过领域对抗学习和弱-强数据增强缓解领域偏移问题。通过训练一个针对目标域的教师模型和一个跨域学生模型，结合对抗性特征对齐与互学习机制，AT 在雾天城市景观数据集上达到 50.9% 的 mAP，超越了当前最先进（SOTA）方法和完全监督的 Oracle 模型 9.2% 和 8.2%。

ABSTRACT

We address the task of domain adaptation in object detection, where there is a domain gap between a domain with annotations (source) and a domain of interest without annotations (target). As an effective semi-supervised learning method, the teacher-student framework (a student model is supervised by the pseudo labels from a teacher model) has also yielded a large accuracy gain in cross-domain object detection. However, it suffers from the domain shift and generates many low-quality pseudo labels ( extit{e.g.,} false positives), which leads to sub-optimal performance. To mitigate this problem, we propose a teacher-student framework named Adaptive Teacher (AT) which leverages domain adversarial learning and weak-strong data augmentation to address the domain gap. Specifically, we employ feature-level adversarial training in the student model, allowing features derived from the source and target domains to share similar distributions. This process ensures the student model produces domain-invariant features. Furthermore, we apply weak-strong augmentation and mutual learning between the teacher model (taking data from the target domain) and the student model (taking data from both domains). This enables the teacher model to learn the knowledge from the student model without being biased to the source domain. We show that AT demonstrates superiority over existing approaches and even Oracle (fully-supervised) models by a large margin. For example, we achieve 50.9% (49.3%) mAP on Foggy Cityscape (Clipart1K), which is 9.2% (5.2%) and 8.2% (11.0%) higher than previous state-of-the-art and Oracle, respectively.

研究动机与目标

• 为解决在源域上预训练的教师模型在目标域上生成低质量伪标签的问题，该问题源于跨域目标检测中的领域偏移挑战。
• 通过减少领域差距导致的误检，提升半监督领域自适应中的伪标签质量。
• 开发一种自训练框架，使其在未见目标域上具有良好的泛化能力，且训练过程中无需使用目标域图像。
• 在跨域检测基准上，性能超越现有 SOTA 方法，甚至超越完全监督的 Oracle（全监督）模型。

提出的方法

• 提出双模型架构：一个针对目标域的教师模型和一个跨域学生模型，以解耦领域偏差与知识蒸馏。
• 在学生模型中应用领域对抗训练，通过梯度反转层对齐源域与目标域之间的特征分布。
• 采用弱-强数据增强策略，其中教师使用弱增强，学生使用强增强，以稳定伪标签生成。
• 在教师与学生模型之间实施互学习机制，由教师在目标域数据上生成伪标签以指导学生模型。
• 在学生模型中引入判别器，通过对抗损失最小化领域差异，促进学习领域不变表示。
• 采用指数移动平均（EMA）更新教师模型参数，以提升训练稳定性。

实验结果

研究问题

• RQ1 教师-学生框架能否在源域与目标域存在显著领域差异的情况下，为目标域生成高质量的伪标签？
• RQ2 领域对抗学习在跨域目标检测中如何影响伪标签质量与模型泛化能力？
• RQ3 弱-强数据增强在领域自适应中在多大程度上提升了伪标签生成的稳定性与检测准确率？
• RQ4 一种在训练过程中未使用目标域标签的自训练框架，能否在未见目标域上超越完全监督的 Oracle 模型？

主要发现

• 在雾天城市景观数据集上，AT 达到 50.9% 的 mAP，较之前 SOTA 提升 9.2%，较 Oracle 模型提升 8.2%。
• 在 Clipart1K 数据集上，AT 达到 49.3% 的 mAP，超越 SOTA 5.2%，超越 Oracle 模型 11.0%。
• 消融实验表明，若移除对抗损失，Clipart1K 上性能下降 8.7%，表明其在减少误检中的关键作用。
• 若不使用弱-强增强策略，性能下降 4–5%，证明其在稳定伪标签生成中的重要性。
• 该模型在未见领域上具有良好的泛化能力，在领域泛化实验中超越 MT 与 Oracle 模型。
• 由于对抗学习与弱-强增强的结合，伪标签中的误检率最高降低 35%。