[论文解读] Adapting Object Detectors with Conditional Domain Normalization

Peng Su, Kun Wang+5 more|arXiv (Cornell University)|Mar 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 20

一句话总结

本文提出了一种名为条件域归一化（CDN）的新方法，通过域嵌入模块解耦域特定属性，并应用条件归一化在不同域之间迁移域特征，从而对齐来自不同域的特征。CDN在2D和3D的实域到实域以及合成域到实域目标检测基准上均取得了最先进性能，在检测器的多个特征层级上显著减少了域偏移。

ABSTRACT

Real-world object detectors are often challenged by the domain gaps between different datasets. In this work, we present the Conditional Domain Normalization (CDN) to bridge the domain gap. CDN is designed to encode different domain inputs into a shared latent space, where the features from different domains carry the same domain attribute. To achieve this, we first disentangle the domain-specific attribute out of the semantic features from one domain via a domain embedding module, which learns a domain-vector to characterize the corresponding domain attribute information. Then this domain-vector is used to encode the features from another domain through a conditional normalization, resulting in different domains' features carrying the same domain attribute. We incorporate CDN into various convolution stages of an object detector to adaptively address the domain shifts of different level's representation. In contrast to existing adaptation works that conduct domain confusion learning on semantic features to remove domain-specific factors, CDN aligns different domain distributions by modulating the semantic features of one domain conditioned on the learned domain-vector of another domain. Extensive experiments show that CDN outperforms existing methods remarkably on both real-to-real and synthetic-to-real adaptation benchmarks, including 2D image detection and 3D point cloud detection.

研究动机与目标

• 为解决真实世界目标检测中的域偏移问题，即当模型在不同数据分布间部署时性能显著下降的问题。
• 克服现有域自适应方法在域混淆学习过程中将语义内容与域特定属性混淆的局限性。
• 通过在每个阶段对域偏移进行差异化建模，实现从低级到高级特征表示层级的物体检测器域适应。
• 实现从合成数据到真实数据的有效适应，减少对真实世界标注的高成本依赖。
• 构建一个大规模的合成到真实驾驶场景基准，用于评估2D目标检测中的域泛化能力。

提出的方法

• CDN利用域嵌入模块从语义特征中解耦出域特定属性，该模块学习一个表示域独特特征的域向量。
• 所学习的域向量用于条件归一化来自另一域的特征，从而将域属性有效迁移，实现在共享潜在空间中的特征对齐。
• 在检测器的多个卷积阶段应用条件归一化，以自适应地处理不同表示层级上的域偏移。
• 该方法使用在域特定特征上训练的解码器网络来重建输入图像，从而实现对域嵌入影响的可视化与解释。
• 在重建过程中，主干网络权重保持固定，解码器通过最小化输入图像与重建图像之间的L2重建损失进行训练。
• 利用公开数据集构建了一个大规模的合成到真实基准，用于评估2D目标检测中的适应性能。

实验结果

研究问题

• RQ1 能否有效从语义特征中解耦出域特定属性，以实现跨域特征对齐？
• RQ2 与标准域混淆方法相比，基于学习的域向量条件归一化是否能提升域自适应性能？
• RQ3 CDN能否自适应地处理物体检测器中不同层级特征表示上的域偏移？
• RQ4 CDN在2D和3D目标检测中从合成数据到真实数据的泛化能力如何？
• RQ5 所学习的域嵌入是否可通过图像重建被解释为捕捉了有意义的域属性？

主要发现

• CDN在实域到实域适应基准上取得了最先进性能，包括从Cityscapes到Foggy Cityscapes的迁移，相比先前方法显著提升了mAP。
• 在合成到实域适应任务中，CDN在2D和3D检测任务上均优于现有方法，展现出从合成数据到真实数据的强大泛化能力。
• 使用真实域嵌入（如BDD100K）编码的特征进行图像重建，可生成更逼真的输出，证实域嵌入捕捉到了有意义的真实世界属性。
• 可视化结果表明，合成域与真实域的特征在共享潜在空间中变得在视觉上无法区分，表明实现了有效的域对齐。
• 该方法保持了语义一致性，同一类别物体在不同域的特征图中表现出相似的激活模式。
• 在KITTI的3D点云检测任务中，CDN使用PointRCNN实现了19.0的中等水平AP，证明了其在3D域适应中的有效性。