[论文解读] Deeply Aligned Adaptation for Cross-domain Object Detection

Minghao Fu, Zhenshan Xie+2 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

本文提出深度对齐适配（DAA），一种用于基于Faster R-CNN的跨域目标检测的端到端域适应方法，其中在多个层级实施域对齐：局部块特征（低层级）、全局特征（高层级）以及实例级前景-背景特征。该方法引入一个过渡模块以连接局部与全局对齐，一个域掩码融合（DMI）模块以增强对抗性训练，并引入一个前景-背景感知对齐模块以防止对象与背景区域之间的错位，从而在Cityscapes到Foggy Cityscapes基准上实现了39.2%的最先进mAP。

ABSTRACT

Cross-domain object detection has recently attracted more and more attention for real-world applications, since it helps build robust detectors adapting well to new environments. In this work, we propose an end-to-end solution based on Faster R-CNN, where ground-truth annotations are available for source images (e.g., cartoon) but not for target ones (e.g., watercolor) during training. Motivated by the observation that the transferabilities of different neural network layers differ from each other, we propose to apply a number of domain alignment strategies to different layers of Faster R-CNN, where the alignment strength is gradually reduced from low to higher layers. Moreover, after obtaining region proposals in our network, we develop a foreground-background aware alignment module to further reduce the domain mismatch by separately aligning features of the foreground and background regions from the source and target domains. Extensive experiments on benchmark datasets demonstrate the effectiveness of our proposed approach.

研究动机与目标

• 为解决在仅源域中存在标注数据的跨域目标检测中的域偏移问题。
• 通过考虑Faster R-CNN中不同网络层特征可迁移性的差异，提升特征在域之间的可迁移性。
• 通过引入实例级、前景-背景感知对齐，减少域适应过程中前景与背景区域之间的错位。
• 通过域掩码融合（DMI）模块增强对抗性训练，以实现更好的域不变特征学习。
• 通过新型过渡模块弥合局部块级与全局图像级域对齐之间的差距。

提出的方法

• 采用多层级域对齐策略：在早期层进行局部块级对抗性训练，在后期层进行全局图像级对抗性训练，并通过过渡模块实现平滑连接。
• 域掩码融合（DMI）模块在对抗性训练期间动态为更具信息量的样本分配更高权重，以提升判别器与生成器的优化效果。
• 引入前景-背景感知对齐模块，对区域建议中的特征进行分别对齐，防止一个域中的前景对象与另一域中的背景区域发生错位。
• 将该方法集成到Faster R-CNN框架中，支持在多个阶段插入域适应模块，实现端到端训练。
• 在不同层级应用对抗性训练：对低层级特征进行块级训练，对高层级特征进行全局训练，过渡模块负责调节对齐策略的转变。
• 采用端到端训练方式，联合优化检测与域适应目标。

实验结果

研究问题

• RQ1 如何在CNN的不同层级有效实施域对齐，以应对特征可迁移性的差异？
• RQ2 将前景与背景区域对齐分离对减少目标检测中域错位的影响是什么？
• RQ3 域掩码融合模块是否能通过聚焦更具信息量的样本，改善对抗性训练？
• RQ4 局部与全局对齐之间的过渡模块如何提升特征分布对齐效果？
• RQ5 实例级、前景-背景感知对齐是否能提升跨域目标检测的mAP？

主要发现

• 所提出的DAA模型在Cityscapes到Foggy Cityscapes基准上实现了39.2%的mAP，优于现有最先进方法。
• 消融实验表明，加入过渡模块后mAP从27.1%提升至37.0%，证实其在连接局部与全局对齐中的关键作用。
• 当在模型中加入域掩码融合（DMI）模块后，mAP从33.9%提升至37.6%，表明其有助于提升对抗性收敛性与特征泛化能力。
• 前景-背景感知对齐模块使mAP从37.6%提升至39.2%，证明其在减少对象与背景区域之间错位方面的有效性。
• 若不区分前景与背景，mAP下降至36.9%，验证了实例级对齐的必要性。
• 域概率频率直方图显示，DMI使得分更均衡地分布在0.5附近，表明域混淆更好，且域不变特征学习更优。