[论文解读] Channel-wise Alignment for Adaptive Object Detection

Hang Yang, Shan Jiang+5 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Neural Network Applications参考文献 39被引用 4

一句话总结

该论文提出了一种新颖的通道级域自适应框架，用于目标检测，通过在通道级别对齐特征分布，提升在域偏移下的泛化能力。通过引入自通道级对齐模块和交叉通道级对齐模块，并结合RPN域分类器，该方法在多个域偏移基准上相比之前的方法实现了5%的mAP提升，且在实例分割任务中也展现出强大的迁移能力。

ABSTRACT

Generic object detection has been immensely promoted by the development of deep convolutional neural networks in the past decade. However, in the domain shift circumstance, the changes in weather, illumination, etc., often cause domain gap, and thus performance drops substantially when detecting objects from one domain to another. Existing methods on this task usually draw attention on the high-level alignment based on the whole image or object of interest, which naturally, cannot fully utilize the fine-grained channel information. In this paper, we realize adaptation from a thoroughly different perspective, i.e., channel-wise alignment. Motivated by the finding that each channel focuses on a specific pattern (e.g., on special semantic regions, such as car), we aim to align the distribution of source and target domain on the channel level, which is finer for integration between discrepant domains. Our method mainly consists of self channel-wise and cross channel-wise alignment. These two parts explore the inner-relation and cross-relation of attention regions implicitly from the view of channels. Further more, we also propose a RPN domain classifier module to obtain a domain-invariant RPN network. Extensive experiments show that the proposed method performs notably better than existing methods with about 5% improvement under various domain-shift settings. Experiments on different task (e.g. instance segmentation) also demonstrate its good scalability.

研究动机与目标

• 解决由天气、光照和图像质量变化引起的目标检测中的域偏移问题。
• 克服现有高层特征对齐方法在利用细粒度通道级模式方面的局限性。
• 探索通道级特征表示在目标检测域自适应中的潜力。
• 开发一种可扩展的框架，使其不仅适用于检测，还能推广到实例分割任务。
• 证明通道级分布对齐能显著提升跨域检测的性能。

提出的方法

• 提出一种自通道级对齐（SCA）模块，将每个通道视为独立的分布，并通过对抗训练学习域不变特征。
• 引入一种交叉通道级对齐（CCA）模块，利用衰减的格拉姆矩阵损失来建模通道间的互信息，增强特征多样性。
• 集成RPN域分类器（RDC），以对齐区域建议，提升感兴趣区域特征的鲁棒性。
• 在统一框架中结合SCA、CCA和RDC，实现在通道级和提议级域自适应上的联合优化。
• 采用VGG-16作为主干网络，并在多个阶段（conv1-5）应用SCA，以评估特征深度对自适应性能的影响。
• 利用衰减的格拉姆矩阵损失，降低高激活通道对的权重，以突出具有信息量且重叠度低的通道交互。

实验结果

研究问题

• RQ1 与图像级或实例级对齐相比，通道级特征对齐是否能在目标检测中带来更好的域自适应效果？
• RQ2 自通道级对齐和交叉通道级对齐组件在性能提升中各自及联合贡献如何？
• RQ3 所提出的衰减格拉姆矩阵损失是否能有效捕捉通道间依赖关系，从而提升域泛化能力？
• RQ4 该方法能否扩展到实例分割任务，并实现相当的性能增益？
• RQ5 SCA在主干网络不同阶段的放置如何影响最终的检测精度？

主要发现

• 所提方法在三个域偏移设置下（Cityscapes到Foggy-Cityscapes、SIM-10k到Cityscapes、KITTI到Cityscapes）相比基线方法实现了5%的mAP提升。
• 仅使用自通道级对齐（SCA）模块，mAP相比源模型基线提升了13.5%，表明其具有主导贡献。
• 交叉通道级对齐（CCA）模块相比源模型基线提升0.6%，RPN域分类器（RDC）贡献2.7%的提升。
• 结合SCA与CCA可达到39.3%的mAP，优于与其他组件组合的结果，证实了其互补性。
• 完整模型（SCA、CCA与RDC联合）达到最高mAP，表明多层级对齐带来了协同增益。
• 在实例分割任务中，该方法相比源模型基线，边界框mAP提升3.8%，掩码mAP提升12.1%，优于SOTA方法SCDA。