[论文解读] Cross-domain Detection via Graph-induced Prototype Alignment

Minghao Xu, Hang Wang+3 more|arXiv (Cornell University)|Mar 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用 18

一句话总结

本文提出图注意力原型对齐（GPA），一种两阶段框架，通过基于图的特征聚合实现精确的实例级特征表示，并利用原型表示实现类别级域对齐，从而提升跨域目标检测性能。此外，通过引入类别重加权对比损失，进一步改善类别不平衡数据集下的域自适应能力，结合Faster R-CNN在多个跨域检测基准上实现最先进性能。

ABSTRACT

Applying the knowledge of an object detector trained on a specific domain directly onto a new domain is risky, as the gap between two domains can severely degrade model's performance. Furthermore, since different instances commonly embody distinct modal information in object detection scenario, the feature alignment of source and target domain is hard to be realized. To mitigate these problems, we propose a Graph-induced Prototype Alignment (GPA) framework to seek for category-level domain alignment via elaborate prototype representations. In the nutshell, more precise instance-level features are obtained through graph-based information propagation among region proposals, and, on such basis, the prototype representation of each class is derived for category-level domain alignment. In addition, in order to alleviate the negative effect of class-imbalance on domain adaptation, we design a Class-reweighted Contrastive Loss to harmonize the adaptation training process. Combining with Faster R-CNN, the proposed framework conducts feature alignment in a two-stage manner. Comprehensive results on various cross-domain detection tasks demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at https://github.com/ChrisAllenMing/GPA-detection.

研究动机与目标

• 解决跨域目标检测中的域偏移问题，即源域模型在目标域上因分布差异而性能下降。
• 克服区域提议中实例表示不完整且多模态的问题，这些因素阻碍了有效的特征对齐。
• 通过协调不平衡类别间的自适应过程，缓解无监督域自适应中低资源类别性能下降的问题。
• 利用Faster R-CNN作为主干网络，实现渐进式两阶段特征对齐——首先进行粗粒度前景对齐，然后进行细粒度类别级对齐。

提出的方法

• 基于图的区域聚合通过利用区域提议的位置和尺寸构建关系图，传播并聚合特征，从而提升实例级表示的精确性。
• 置信度引导的融合将多模态实例特征合并为类别原型，通过代表性嵌入实现类别级域对齐。
• 类别重加权对比损失为低频类别分配更高的训练权重，平衡各类别间的自适应，提升泛化能力。
• 两阶段对齐机制实现如下：首先在RPN中学习前景与背景类别之间的域不变特征；其次在RCNN中进行类别级对齐，实现细粒度自适应。
• 该框架与Faster R-CNN集成，在RPN和RCNN阶段均应用域对齐，实现跨域特征的渐进式对齐。
• 该方法在图卷积层中使用可学习参数，但消融实验表明，无参版本性能更优，原因在于域自适应中缺乏显式监督。

实验结果

研究问题

• RQ1 在跨域目标检测中，区域提议之间的基于图的消息传递能否提升实例级特征表示？
• RQ2 与实例级对齐相比，基于原型的类别级对齐在减少域偏移方面效果如何？
• RQ3 类别重加权对比损失是否能提升多类别跨域检测中低资源类别的自适应性能？
• RQ4 与单阶段对齐相比，两阶段对齐（RPN + RCNN）对域自适应性能有何影响？
• RQ5 模型性能对检测损失与域自适应损失之间权衡超参数的敏感度如何？

主要发现

• GPA框架在多个跨域检测基准上达到最先进性能，包括 SIM 10k → Cityscapes、Cityscapes → Foggy Cityscapes 以及 COCO → Cityscapes。
• 两阶段对齐始终优于单阶段配置，证明了从粗到细渐进对齐的优越性。
• 模型对超参数变化具有鲁棒性：mAP在λ₁与λ₂的广泛取值范围内保持稳定，当两者均非零时性能达到最优。
• 当平衡参数γ ≈ 2.0时，类别重加权对比损失实现最高的mAP，表明在此设置下稀有类别自适应能力显著提升。
• t-SNE可视化结果表明，所提方法比仅使用源域的基线模型更有效地对齐源域与目标域特征，且类别间分离更清晰。
• 定性结果表明，GPA能有效减少误检并提升定位精度，即使在严重遮挡情况下仍优于基线方法如DA [5]，在复杂场景中表现更优。