[论文解读] I3Net: Implicit Instance-Invariant Network for Adapting One-Stage Object Detectors

Chaoqi Chen, Zebiao Zheng+3 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 5

一句话总结

I3Net 是一种用于单阶段目标检测器的新颖域自适应框架，通过利用网络各层之间的分层深度特征表示，隐式学习实例不变特征。它引入了动态与类别平衡重加权、类别感知目标模式匹配以及正则化联合类别对齐，无需显式实例级特征即可提升跨域检测性能，在 Comic2k 上实现了 30.1% 的 SOTA mAP，并在多个基准上保持一致的性能提升。

ABSTRACT

Recent works on two-stage cross-domain detection have widely explored the local feature patterns to achieve more accurate adaptation results. These methods heavily rely on the region proposal mechanisms and ROI-based instance-level features to design fine-grained feature alignment modules with respect to the foreground objects. However, for one-stage detectors, it is hard or even impossible to obtain explicit instance-level features in the detection pipelines. Motivated by this, we propose an Implicit Instance-Invariant Network (I3Net), which is tailored for adapting one-stage detectors and implicitly learns instance-invariant features via exploiting the natural characteristics of deep features in different layers. Specifically, we facilitate the adaptation from three aspects: (1) Dynamic and Class-Balanced Reweighting (DCBR) strategy, which considers the coexistence of intra-domain and intra-class variations to assign larger weights to those sample-scarce categories and easy-to-adapt samples; (2) Category-aware Object Pattern Matching (COPM) module, which boosts the cross-domain foreground objects matching guided by the categorical information and suppresses the uninformative background features; (3) Regularized Joint Category Alignment (RJCA) module, which jointly enforces the category alignment at different domain-specific layers with a consistency regularization. Experiments reveal that I3Net exceeds the state-of-the-art performance on benchmark datasets.

研究动机与目标

• 为解决在缺乏区域建议网络的情况下，因无法获取显式实例级特征而导致的单阶段目标检测器在域偏移下的适应挑战。
• 通过利用从低层（通用）到高层（特定）表示的深度特征天然层次结构，隐式学习不变特征以提升适应性能。
• 缓解早期特征层中无信息背景特征的负面影响，并增强跨域前景对象的语义对齐。
• 保持域间类别关系并提升检测鲁棒性，尤其针对罕见或难以适应的类别。
• 在不依赖 ROI 基础特征的前提下，实现在标准跨域目标检测基准上的 SOTA 性能。

提出的方法

• 提出动态与类别平衡重加权（DCBR），根据类别不平衡和预测不确定性动态重加权目标样本，提高对罕见或难以适应类别的权重。
• 引入类别感知目标模式匹配（COPM），利用类别监督对齐跨域前景对象模式，同时通过注意力图融合在低层抑制背景特征。
• 设计正则化联合类别对齐（RJCA），在多个域特定层上强制执行类别级对齐，并在检测头预测中引入一致性正则化。
• 利用图像级多标签分类与像素级域判别，统一框架中引导特征学习与域对齐。
• 在 COPM 中使用 L2 距离进行模式匹配，在 RJCA 中使用一致性正则化，以保留跨域的结构化语义关系。
• 利用 CNN 的固有特性：低层捕获通用特征（如边缘、纹理），高层捕获语义对象级特征，从而实现隐式实例不变性。

实验结果

研究问题

• RQ1 在缺乏 RPN 等显式实例级特征的情况下，单阶段目标检测器能否有效适应新域？
• RQ2 如何通过利用网络各层间深度特征的层次结构来缓解单阶段检测器中的域偏移？
• RQ3 在域偏移场景下，对目标样本进行动态重加权在多大程度上能提升对罕见或难以检测类别的适应性能？
• RQ4 类别感知模式匹配能否在增强前景对象跨域对齐的同时，抑制早期特征层中的背景噪声？
• RQ5 在多个域特定层上结合一致性正则化的联合类别对齐，是否能带来更好的泛化性能并减少误报？

主要发现

• I3Net 在 Comic2k 基准上实现了 30.1% 的平均平均精度（mAP），显著优于先前的 SOTA 方法。
• 消融实验表明，所有组件——DCBR、COPM 和 RJCA——均对性能提升有贡献，其中去除 RJCA 的 mAP 下降至 29.1%，表明多层对齐的重要性。
• COPM 模块减少了误报，并提升了对小尺寸或被遮挡物体的检测能力，如在 Clipart1k、Watercolor2k 和 Comic2k 上的定性结果所示。
• DCBR 通过动态提升难以适应样本的重要性，显著改善了样本稀缺类别的检测，如 'bike' 和 'cat'。
• 注意力图可视化结果表明，I3Net 有效突出判别性前景区域并抑制背景噪声，尤其在复杂情况下表现优异。
• 完整 I3Net 模型在 Pascal VOC → Clipart1k 上达到 47.5% mAP，在 VOC → Watercolor2k 上达到 51.8% mAP，在 VOC → Comic2k 上达到 30.1% mAP，表明在多种域偏移场景下均保持一致的性能提升。