[论文解读] Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation with Conditional Alignment and Reweighting

Viraj Prabhu, David Acuna+6 more|arXiv (Cornell University)|Feb 9, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出CARE，一种新颖的监督域自适应框架，用于2D目标检测，通过利用标注的真实数据联合对齐外观和内容分布，弥合模拟到真实（sim2real）的差距。通过使用实例特征的条件对齐以及基于空间、尺寸和类别分布的样本重加权，CARE实现了最先进性能，在Synscapes→Cityscapes数据集上将mAP@50提升高达25%。

ABSTRACT

Sim2Real domain adaptation (DA) research focuses on the constrained setting of adapting from a labeled synthetic source domain to an unlabeled or sparsely labeled real target domain. However, for high-stakes applications (e.g. autonomous driving), it is common to have a modest amount of human-labeled real data in addition to plentiful auto-labeled source data (e.g. from a driving simulator). We study this setting of supervised sim2real DA applied to 2D object detection. We propose Domain Translation via Conditional Alignment and Reweighting (CARE) a novel algorithm that systematically exploits target labels to explicitly close the sim2real appearance and content gaps. We present an analytical justification of our algorithm and demonstrate strong gains over competing methods on standard benchmarks.

研究动机与目标

• 解决模拟到真实域自适应中的研究-实践鸿沟问题，即在现有域自适应方法中，真实世界标注数据常被忽视。
• 为2D目标检测制定一种监督式Sim2Real自适应设置，其中同时存在合成（标注）数据和真实（标注）数据。
• 通过显式建模并对齐外观（视觉）和内容（标签分布）差异，系统性地弥合模拟到真实域的差距。
• 开发一种方法，在此标注数据占优的设置下，优于简单的数据混合、顺序微调以及无监督/半监督基线方法。

提出的方法

• 提出一种联合风险最小化框架，将源域和目标域损失与中间实例表征的条件对齐相结合。
• 利用真实目标标签进行条件对齐，以减少模拟与真实数据之间在视觉和实例层面的分布偏移。
• 引入一种重加权机制，根据估计的条件分布调整样本重要性：$P(x,y|C)$、$P(w,h|C)$ 和 $P(C)$。
• 将边界框重加权分解为空间部分（$P(x,y|C)$）和尺寸部分（$P(w,h|C)$），以更好地匹配目标统计特性。
• 在特征空间中强制执行循环一致性，以改善跨域实例匹配并确保对齐表征。
• 采用模块化设计，可与标准检测模型及现有域自适应基线方法无缝集成。

Figure 1 : Traditional Sim2Real domain adaptation assumes access to very few or no target labels, which is unrealistic in high-stakes applications like self-driving. We study the practical setting of supervised Sim2Real domain adaptation applied to 2D object detection, wherein the goal is to maximiz

实验结果

研究问题

• RQ1 如何系统性地利用标注的真实数据，超越简单的数据混合或微调，来弥合2D目标检测中的sim2real差距？
• RQ2 与无监督或少样本域自适应方法相比，内容分布的条件对齐与重加权在提升泛化能力方面有多大的改善作用？
• RQ3 在减少域偏移方面，外观对齐与内容分布重加权的相对贡献分别是什么？
• RQ4 是否能够通过一个统一框架联合建模外观与内容差距，从而优于启发式地组合源域与目标域数据的方法？
• RQ5 在存在罕见物体类别长尾分布的场景下，该方法在不同域偏移下的表现如何，尤其是在长尾设置中？

主要发现

• 在Sim10K→Cityscapes基准上，CARE实现了68.1的mAP@50，优于次佳方法（Seq. FT）1.7分，优于混合基线3.3分。
• 在Synscapes→Cityscapes的域偏移设置下，CARE相较基线方法将mAP@50提升高达25%，在具有挑战性的长尾场景中展现出显著性能增益。
• 基于$P(C)$的类别条件重加权显著提升性能，尤其在多类别源设置中，相比基线提升1.5–2.5 mAP。
• 基于$P(w,h|C)$和$P(x,y|C)$的重加权在所有物体类别中均带来一致的mAP提升，对大型物体（如公交车）最高可达+10 mAP。
• 通过TIDE进行的细粒度误差分析表明，CARE减少了分类、定位和重复检测错误，同时对联合错误保持鲁棒性。
• 定性分析证实，循环一致性提升了跨域实例匹配效果，外观相似的汽车在特征空间中被嵌入得更近。

Figure 2 : The domain gap between a simulated source and real target domain consists of an appearance and content gap. The appearance gap corresponds to pixel-level differences ( e.g. texture and lighting) and instance-level differences ( e.g. vehicle design). The content gap consists of differences