[论文解读] Domain Generalisation for Object Detection under Covariate and Concept Shift

Karthik Seemakurthy, Erchan Aptoula+2 more|arXiv (Cornell University)|Mar 10, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种用于目标检测的域泛化方法，通过引入一致性正则化损失，学习边界框检测和域分类的域不变特征。在四个数据集（GWHD、Cityscapes、BDD100K 和 Sim10K）上评估，该方法在无需目标域数据的情况下，相较于基线模型展现出更优的泛化性能，尤其在概念漂移和协变量漂移情况下表现突出。

ABSTRACT

Domain generalisation aims to promote the learning of domain-invariant features while suppressing domain-specific features, so that a model can generalise better to previously unseen target domains. An approach to domain generalisation for object detection is proposed, the first such approach applicable to any object detection architecture. Based on a rigorous mathematical analysis, we extend approaches based on feature alignment with a novel component for performing class conditional alignment at the instance level, in addition to aligning the marginal feature distributions across domains at the image level. This allows us to fully address both components of domain shift, i.e. covariate and concept shift, and learn a domain agnostic feature representation. We perform extensive evaluation with both one-stage (FCOS, YOLO) and two-stage (FRCNN) detectors, on a newly proposed benchmark comprising several different datasets for autonomous driving applications (Cityscapes, BDD10K, ACDC, IDD) as well as the GWHD dataset for precision agriculture, and show consistent improvements to the generalisation and localisation performance over baselines and state-of-the-art.

研究动机与目标

• 在条件分布因域而异的协变量漂移和概念漂移条件下，解决目标检测中的域泛化问题。
• 克服现有域泛化方法的局限性，这些方法主要针对分类任务设计，难以直接迁移至目标检测。
• 开发一种统一的训练框架，联合优化目标检测与域不变性，且不依赖目标域数据。
• 实现端到端训练的目标检测器，使其在未见过的域上具有良好泛化能力，即使域漂移影响外观和物体语义。
• 在与自动驾驶和农业相关的多样化真实世界数据集上验证方法，证明其在复杂视觉变化下的鲁棒性。

提出的方法

• 提出一种新颖的一致性正则化项，促使检测器对同一输入图像在不同域下产生一致的预测。
• 制定联合学习目标，结合标准检测损失（如边界框回归与分类损失）与域分类器损失。
• 通过同一图像在不同域无关增强下的预测之间应用一致性正则化，以强化不变性。
• 使用共享特征提取器与独立的检测头和域分类头，实现域不变表征的联合优化。
• 使用标准目标检测架构（如 Faster R-CNN）端到端训练模型，除正则化项外无需架构修改。
• 引入一种新的边界框损失组件，支持在非独立同分布数据分布下的泛化，尤其适用于条件分布因域而异的情况。

实验结果

研究问题

• RQ1 一致性正则化能否有效扩展至目标检测，以在协变量漂移和概念漂移下提升域泛化性能？
• RQ2 在多域目标检测场景中，所提方法相较于现有域泛化基线表现如何？
• RQ3 在训练期间未提供目标域数据的情况下，该方法对未见目标域的泛化能力如何？
• RQ4 在遮挡、模糊或恶劣天气等挑战性条件下，模型的失效模式是什么？
• RQ5 当每类域的图像数量较少或域之间差异极大时，该方法是否仍能保持性能？

主要发现

• 与现有域泛化基线相比，所提方法在所有评估数据集（GWHD、Cityscapes、BDD100K 和 Sim10K）上均表现出一致且优越的泛化性能。
• 在 Cityscapes 数据集上，该方法在相同评估设置下优于标准域自适应基线，证明其在目标数据可用场景下的有效性。
• 即使未在相关域（如浓雾、降雨、低照度）上进行训练，模型在严重视觉变化条件下仍能保持高检测准确率。
• 失效案例包括对相似物体（如汽车/公共汽车/火车）的误分类，以及对遮挡或模糊物体的漏检，表明在细粒度和遮挡实例处理方面存在局限性。
• 在小麦穗检测中观察到误报，原因可能是阴影和强光，提示需改进预处理或引入架构约束。
• 该方法在农业领域单目标检测（GWHD）和自动驾驶多目标检测（Cityscapes）中均表现出良好泛化能力，验证了其广泛适用性。