[论文解读] Domain Adaptive Object Detection via Asymmetric Tri-way Faster-RCNN

Zhenwei He, Lei Zhang|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 40被引用 15

一句话总结

该论文提出了一种用于无监督域自适应目标检测的非对称三路Faster R-CNN（ATF），解决了参数共享孪生网络中源域特征崩溃的风险。通过引入一个由源域标签监督的辅助网络，并将其与主检测器解耦，ATF增强了结构判别能力，同时保持了源域特征的可靠性，在包括Cityscapes到Foggy Cityscapes在内的多个跨域基准上实现了最先进（SOTA）的mAP性能。

ABSTRACT

Conventional object detection models inevitably encounter a performance drop as the domain disparity exists. Unsupervised domain adaptive object detection is proposed recently to reduce the disparity between domains, where the source domain is label-rich while the target domain is label-agnostic. The existing models follow a parameter shared siamese structure for adversarial domain alignment, which, however, easily leads to the collapse and out-of-control risk of the source domain and brings negative impact to feature adaption. The main reason is that the labeling unfairness (asymmetry) between source and target makes the parameter sharing mechanism unable to adapt. Therefore, in order to avoid the source domain collapse risk caused by parameter sharing, we propose an asymmetric tri-way Faster-RCNN (ATF) for domain adaptive object detection. Our ATF model has two distinct merits: 1) A ancillary net supervised by source label is deployed to learn ancillary target features and simultaneously preserve the discrimination of source domain, which enhances the structural discrimination (object classification vs. bounding box regression) of domain alignment. 2) The asymmetric structure consisting of a chief net and an independent ancillary net essentially overcomes the parameter sharing aroused source risk collapse. The adaption safety of the proposed ATF detector is guaranteed. Extensive experiments on a number of datasets, including Cityscapes, Foggy-cityscapes, KITTI, Sim10k, Pascal VOC, Clipart and Watercolor, demonstrate the SOTA performance of our method.

研究动机与目标

• 解决用于无监督域自适应目标检测的参数共享孪生网络中源域崩溃的风险。
• 缓解因有标签源域与无标签目标域之间的域偏移导致的性能下降问题。
• 通过辅助学习机制提升目标域中特征的可靠性与结构判别能力（分类与回归的区分）。
• 在不依赖目标域标注的情况下，实现更安全、更有效的域自适应。

提出的方法

• 提出一种非对称三路网络结构，包含一个主干网络和一个独立的辅助网络，避免在源域与目标域分支之间共享参数。
• 利用源域标签训练辅助网络，学习具有目标域特征样式的判别性特征，增强域对齐中的结构判别能力。
• 利用辅助网络生成合成目标域特征，从而改善分类与边界框回归的决策边界。
• 通过判别器实施对抗性域对齐，最小化域间差异，同时保持源域特征质量。
• 以加权损失联合优化主干网络与辅助网络，损失函数结合了检测、域对齐与辅助监督。
• 引入超参数α以平衡辅助网络的贡献，最优性能出现在α=0.7时。

实验结果

研究问题

• RQ1 非对称网络结构是否能够防止在参数共享孪生域自适应网络中出现的源域崩溃？
• RQ2 通过辅助网络在目标域上施加辅助监督，如何提升特征判别能力与检测性能？
• RQ3 所提方法在多大程度上保留了目标域中的结构判别能力（分类与回归的区分）？
• RQ4 缺乏目标域标注是否会影响所学特征的可靠性，这种影响能否通过辅助学习缓解？
• RQ5 在mAP与多种域偏移场景下的鲁棒性方面，该方法与现有SOTA方法相比表现如何？

主要发现

• 在从Cityscapes到Foggy Cityscapes的迁移任务中，所提ATF模型在Foggy Cityscapes数据集上实现了38.7%的mAP，优于DAF与MAF。
• ATF的RPN在真实边界框上的召回率达到57.1%，为所有对比模型中的最高值，表明区域建议质量得到提升。
• 辅助网络显著提升了在裁剪的真实边界框样本上的分类器准确率，减少了因RPN召回率低导致的误分类。
• 在整个训练过程中，ATF在源域（Cityscapes）上的mAP高于参数共享的MAF，证明了源域风险降低与训练稳定性提升。
• 敏感性分析显示，α=0.7时性能最优，当α=1.3时mAP下降至38.0%，证实了超参数调优的重要性。
• 在Foggy Cityscapes上的定性结果表明，ATF在恶劣天气条件下产生的检测结果比DAF与MAF更准确、更一致。