[论文解读] Few-shot Adaptive Faster R-CNN

Tao Wang, Xiaopeng Zhang+2 more|arXiv (Cornell University)|Mar 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用 6

一句话总结

该论文提出了一种新型框架——少样本自适应Faster R-CNN（FAFRCNN），通过仅使用少量松散标注的目标域图像，实现了对源域目标检测器在新目标域上的快速、稳定且准确的适应。该方法引入了一个双层自适应模块，结合特征配对与源模型特征正则化（SMFR），以解决数据稀缺、域偏移和过拟合问题，在少样本域自适应与无监督域自适应设置下均取得了最先进性能。

ABSTRACT

To mitigate the detection performance drop caused by domain shift, we aim to develop a novel few-shot adaptation approach that requires only a few target domain images with limited bounding box annotations. To this end, we first observe several significant challenges. First, the target domain data is highly insufficient, making most existing domain adaptation methods ineffective. Second, object detection involves simultaneous localization and classification, further complicating the model adaptation process. Third, the model suffers from over-adaptation (similar to overfitting when training with a few data example) and instability risk that may lead to degraded detection performance in the target domain. To address these challenges, we first introduce a pairing mechanism over source and target features to alleviate the issue of insufficient target domain samples. We then propose a bi-level module to adapt the source trained detector to the target domain: 1) the split pooling based image level adaptation module uniformly extracts and aligns paired local patch features over locations, with different scale and aspect ratio; 2) the instance level adaptation module semantically aligns paired object features while avoids inter-class confusion. Meanwhile, a source model feature regularization (SMFR) is applied to stabilize the adaptation process of the two modules. Combining these contributions gives a novel few-shot adaptive Faster-RCNN framework, termed FAFRCNN, which effectively adapts to target domain with a few labeled samples. Experiments with multiple datasets show that our model achieves new state-of-the-art performance under both the interested few-shot domain adaptation(FDA) and unsupervised domain adaptation(UDA) setting.

研究动机与目标

• 为解决仅在少量目标域图像可用时，因域偏移导致的目标检测性能下降问题。
• 克服少样本自适应中数据稀缺、定位与分类任务复杂性以及过度自适应等挑战。
• 开发一种稳定且高效的自适应框架，最大限度减少标注数据需求并避免过拟合。
• 实现仅需数百个训练步骤即可完成快速自适应，而以往方法通常需要数万步。
• 通过使用仅包含最小边界框标注的松散标注目标图像，降低人工标注成本。

提出的方法

• 提出一种特征配对机制，将源域与目标域特征配对为样本对，以增强有限的目标域数据。
• 设计一个双层自适应模块：(1) 基于分割池化的图像级自适应，用于处理全局域偏移（如光照变化）；(2) 实例级自适应，用于对齐目标物体的语义特征。
• 在两个自适应模块中均采用领域对抗学习，以学习领域不变特征。
• 应用源模型特征正则化（SMFR），通过在前景候选框位置强制源域与自适应后模型特征的一致性，以稳定训练过程。
• 在分割池化模块中跨多个尺度共享判别器，以提升表征学习能力与训练稳定性。
• 端到端联合训练完整FAFRCNN框架，结合检测损失、对抗损失与SMFR正则化损失。

实验结果

研究问题

• RQ1 一个少样本自适应框架是否能在仅使用少量标注目标图像的情况下，实现目标检测的最先进性能？
• RQ2 特征配对与双层自适应机制在极小标注数据下能否有效缓解域偏移？
• RQ3 源模型特征正则化（SMFR）在多大程度上能提升少样本自适应中的训练稳定性并降低方差？
• RQ4 在图像级自适应中，跨尺度共享判别器参数是否能增强领域不变表征学习？
• RQ5 与现有无监督域自适应（UDA）方法相比，所提方法是否能在极少数微调步骤内实现快速收敛？

主要发现

• 在S→C场景下，FAFRCNN达到39.3 AP（±0.6），显著优于源模型（33.5 AP）与无SMFR基线（36.1 AP）。
• 引入SMFR后，10次随机运行的AP标准差从1.8降至0.2，表明训练稳定性得到显著提升。
• 配对机制在各类设置下均提升2.3–3.2 AP，尤其在C→U与U→C场景中增益最大。
• 与独立判别器相比，跨尺度共享判别器使性能提升1.7–1.8 AP，表明其能实现互补的表征学习。
• 该方法在少样本域自适应（FDA）与无监督域自适应（UDA）设置下均取得最先进结果，即使仅使用1–8张目标图像。
• 自适应过程仅需数百步即可收敛，而以往UDA方法通常需要数万步，证明了其快速收敛能力。