[论文解读] Learning Domain-Aware Detection Head with Prompt Tuning

Haochen Li, Rui Zhang+6 more|arXiv (Cornell University)|Jun 9, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 DA-Pro，一种新颖的领域自适应目标检测框架，采用视觉-语言模型主干网络和可学习的领域自适应提示，为源域和目标域动态生成检测头。通过联合优化领域不变与领域特定标记，并施加双重约束与提示集成策略，DA-Pro 在跨领域基准上相比强基线方法（如 RegionCLIP）实现了 1.9%–3.3% 的 mAP 提升，达到当前最优性能。

ABSTRACT

Domain adaptive object detection (DAOD) aims to generalize detectors trained on an annotated source domain to an unlabelled target domain. However, existing methods focus on reducing the domain bias of the detection backbone by inferring a discriminative visual encoder, while ignoring the domain bias in the detection head. Inspired by the high generalization of vision-language models (VLMs), applying a VLM as the robust detection backbone following a domain-aware detection head is a reasonable way to learn the discriminative detector for each domain, rather than reducing the domain bias in traditional methods. To achieve the above issue, we thus propose a novel DAOD framework named Domain-Aware detection head with Prompt tuning (DA-Pro), which applies the learnable domain-adaptive prompt to generate the dynamic detection head for each domain. Formally, the domain-adaptive prompt consists of the domain-invariant tokens, domain-specific tokens, and the domain-related textual description along with the class label. Furthermore, two constraints between the source and target domains are applied to ensure that the domain-adaptive prompt can capture the domains-shared and domain-specific knowledge. A prompt ensemble strategy is also proposed to reduce the effect of prompt disturbance. Comprehensive experiments over multiple cross-domain adaptation tasks demonstrate that using the domain-adaptive prompt can produce an effectively domain-related detection head for boosting domain-adaptive object detection. Our code is available at https://github.com/Therock90421/DA-Pro.

研究动机与目标

• 为解决现有方法仅关注减少检测主干中的领域偏差，而忽视检测头中被忽略的领域偏差问题。
• 利用视觉-语言模型（VLM）的高泛化能力，作为领域自适应任务中稳健的视觉编码器。
• 设计一种可学习的提示机制，通过同时利用领域不变和领域特定标记，动态生成领域特定的检测头。
• 通过在检测头置信度和对齐性上施加双重约束，确保模型能够捕捉领域间的共享知识与差异知识。
• 通过基于指数移动平均（EMA）的缓冲区更新机制，采用历史提示集成策略，降低训练过程中的提示扰动。

提出的方法

• 该框架使用预训练的视觉-语言模型作为主干网络，提取领域泛化的视觉特征。
• 领域自适应提示由可学习的领域不变标记、领域特定标记以及领域和类别文本描述组成。
• 施加两种约束：(1) 联合优化源域和目标域的检测头，以保留共享知识；(2) 领域特定置信度最大化，以增强判别能力。
• 提示集成策略通过 EMA 维持过去提示的运行平均值，提升对小批量数据分布波动的鲁棒性。
• 检测头通过视觉特征与提示标记之间的交叉注意力机制，在视觉-语言模型中动态生成。
• 完整训练目标结合分类损失、领域置信度损失和熵正则化，以稳定优化过程。

实验结果

研究问题

• RQ1 提示微调能否有效应用于领域自适应目标检测中的领域感知检测头学习？
• RQ2 如何在基于提示的检测头中联合建模领域不变与领域特定知识？
• RQ3 为确保检测头在源域和目标域之间具有良好泛化能力，需要施加哪些约束？
• RQ4 提示集成策略是否能提升在数据分布偏移下的鲁棒性与性能？
• RQ5 提示长度如何影响领域自适应目标检测中判别性与过拟合之间的权衡？

主要发现

• DA-Pro 在三个跨领域基准（Cross-Weather、Cross-Fov 和 Sim-to-Real）上均达到当前最优性能。
• 在 Cross-Weather 基准上，DA-Pro 实现 55.9% 的 mAP，创下新 SOTA 记录，相比 RegionCLIP 提升 1.9%–3.3%。
• 消融实验表明，加入领域特定标记与双重约束相比仅使用领域不变标记，mAP 提升 0.4%。
• 提示集成策略在 AP、AP50 和 AP75 上分别提升 mAP 0.7%、0.4% 和 1.5%，有效降低提示扰动。
• 当领域不变与领域特定标记的提示长度均为 (8,8) 时，性能达到最优，避免了更长长度下出现的过拟合现象。
• 可视化结果表明，领域自适应提示能正确检测重叠与遮挡物体，而手工设计提示与仅使用领域不变提示则会漏检或误分类。