[论文解读] Collaborative Training between Region Proposal Localization and Classification for Domain Adaptive Object Detection

Ganlong Zhao, Guanbin Li+2 more|arXiv (Cornell University)|Sep 17, 2020

Advanced Neural Network Applications参考文献 32被引用 5

一句话总结

该论文提出了一种在两阶段目标检测器中，区域建议网络（RPN）与区域建议分类器（RPC）之间的协作自训练方法，以在大规模域偏移下提升域自适应性能。通过利用一个模块生成的高置信度建议来指导另一个模块，并使用低置信度样本进行基于差异的极小化极大优化，该方法实现了最先进性能，在Sim10k-to-Cityscapes基准上将AP提升了9.94%，优于基线域自适应方法。

ABSTRACT

Object detectors are usually trained with large amount of labeled data, which is expensive and labor-intensive. Pre-trained detectors applied to unlabeled dataset always suffer from the difference of dataset distribution, also called domain shift. Domain adaptation for object detection tries to adapt the detector from labeled datasets to unlabeled ones for better performance. In this paper, we are the first to reveal that the region proposal network (RPN) and region proposal classifier~(RPC) in the endemic two-stage detectors (e.g., Faster RCNN) demonstrate significantly different transferability when facing large domain gap. The region classifier shows preferable performance but is limited without RPN's high-quality proposals while simple alignment in the backbone network is not effective enough for RPN adaptation. We delve into the consistency and the difference of RPN and RPC, treat them individually and leverage high-confidence output of one as mutual guidance to train the other. Moreover, the samples with low-confidence are used for discrepancy calculation between RPN and RPC and minimax optimization. Extensive experimental results on various scenarios have demonstrated the effectiveness of our proposed method in both domain-adaptive region proposal generation and object detection. Code is available at https://github.com/GanlongZhao/CST_DA_detection.

研究动机与目标

• 为解决源域与目标域之间存在大规模域偏移时，域自适应目标检测性能下降的问题。
• 研究在大规模域差距下，两阶段检测器（如Faster R-CNN）中RPN与RPC模块在可迁移性上的差异。
• 通过利用高置信度预测作为相互监督，联合训练RPN与RPC，以提升检测性能。
• 通过最大化差异分类器对低置信度建议进行建模，实现对抗性域对齐，从而增强模型泛化能力。
• 开发一种方法，使其在域自适应场景中优于仅对主干网络进行对齐或简单特征对齐的方法。

提出的方法

• 提出协作自训练（CST），其中将一个模块（RPN或RPC）生成的高置信度区域建议用作对另一个模块的监督信号，将每个模块视为对另一模块输出的分类器。
• 应用加权局部域对齐损失，基于RPN生成的建议，自适应地强调具有更高域差异的区域特征。
• 设计最大化差异分类器（MCD），专注于低置信度建议以增加域差异，并通过极小化极大优化提升鲁棒性。
• 将CST、加权局部对齐和MCD作为互补组件联合集成，共同训练以提升整体检测性能。
• 采用两阶段检测器框架（如Faster R-CNN），将RPN视为粗粒度的前景/背景分类器，RPC视为细粒度建议分类器，实现跨模块知识蒸馏。
• 采用双分支训练策略，利用RPC的梯度来优化RPN，反之亦然，从而克服两模块间缺乏直接梯度流的问题。

实验结果

研究问题

• RQ1 在大规模域偏移下，两阶段目标检测器中RPN与RPC的可迁移特性有何不同？
• RQ2 一个模块（RPN或RPC）生成的高置信度建议能否有效指导另一模块的训练以提升域自适应性能？
• RQ3 通过基于差异的分类器引入低置信度建议，是否能增强模型泛化能力和域鲁棒性？
• RQ4 RPN与RPC之间的协作训练能否在域自适应目标检测中超越仅对主干网络对齐或简单特征对齐的方法？
• RQ5 所提方法在多样化域自适应场景中，能在多大程度上提升检测准确率？

主要发现

• 在Sim10k-to-Cityscapes基准上，所提方法将平均平均精度（AP）提升了9.94%，从源域仅训练的34.57%提高至44.51%。
• 仅使用协作自训练（CST）即可使AP提升7.76%，证明了RPN与RPC之间相互指导的有效性。
• CST、加权局部对齐与MCD三者结合时性能最高，相比仅使用CST的设置，AP额外提升了2.18%。
• RPN加权局部对齐方法能有效抑制无关图像区域（如天空、道路），聚焦于与物体相关的特征用于域对齐。
• 该方法优于“源域仅训练”和“朴素对齐”基线，后者仅带来2.46%的AP提升。
• 可视化结果表明，模型学会了关注与物体相关的区域，对检测到的物体（如汽车）赋予更高的注意力权重。