[論文レビュー] Few-shot Adaptive Faster R-CNN

Tao Wang, Xiaopeng Zhang+2 more|arXiv (Cornell University)|Mar 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 6

ひとこと要約

本稿では、わずかな緩やかなラベル付きのターゲット画像のみを用いて、ソースドメインのオブジェクト検出器を新しいターゲットドメインに高速かつ安定的かつ正確に適応できる、新規のフレームワークであるFew-shot Adaptive Faster R-CNN (FAFRCNN) を提案する。データ不足、ドメインシフト、過剰適合の問題に対処するため、特徴ペアリングとソースモデル特徴正則化（SMFR）を備えた二段階適応モジュールを導入し、少サンプルドメイン適応および非教師付きドメイン適応の設定において最先端の性能を達成した。

ABSTRACT

To mitigate the detection performance drop caused by domain shift, we aim to develop a novel few-shot adaptation approach that requires only a few target domain images with limited bounding box annotations. To this end, we first observe several significant challenges. First, the target domain data is highly insufficient, making most existing domain adaptation methods ineffective. Second, object detection involves simultaneous localization and classification, further complicating the model adaptation process. Third, the model suffers from over-adaptation (similar to overfitting when training with a few data example) and instability risk that may lead to degraded detection performance in the target domain. To address these challenges, we first introduce a pairing mechanism over source and target features to alleviate the issue of insufficient target domain samples. We then propose a bi-level module to adapt the source trained detector to the target domain: 1) the split pooling based image level adaptation module uniformly extracts and aligns paired local patch features over locations, with different scale and aspect ratio; 2) the instance level adaptation module semantically aligns paired object features while avoids inter-class confusion. Meanwhile, a source model feature regularization (SMFR) is applied to stabilize the adaptation process of the two modules. Combining these contributions gives a novel few-shot adaptive Faster-RCNN framework, termed FAFRCNN, which effectively adapts to target domain with a few labeled samples. Experiments with multiple datasets show that our model achieves new state-of-the-art performance under both the interested few-shot domain adaptation(FDA) and unsupervised domain adaptation(UDA) setting.

研究の動機と目的

• わずかなターゲットドメイン画像しか利用できない状況で、ドメインシフトに起因するオブジェクト検出性能の低下を解消すること。
• データ不足、複雑な局所化・分類タスク、少サンプル適応における過剰適応といった課題を克服すること。
• 最小限のラベル付きデータで動作し、過剰適合を回避する安定的で効率的な適応フレームワークを開発すること。
• 従来の手法が数万ステップを要するのに対し、わずか数百ステップの学習で高速適応を実現すること。
• 最小限のバウンディングボックスラベルで済む緩やかなラベル付きターゲット画像を用いることで、人的ラベル付けコストを低減すること。

提案手法

• 限られたターゲットデータを補強するため、ソース特徴とターゲット特徴をペア化する特徴ペアリング機構を導入する。
• 二段階適応モジュールを提案：(1) スプリットプーリングを用いた画像レベル適応（例：照明の変化など）と、(2) オブジェクト特徴の意味的整合性を図るインスタンスレベル適応。
• 両適応モジュールでドメインアダプティブな学習を採用し、ドメイン不変特徴を学習する。
• 訓練の安定化を図るため、前景アンカー位置においてソース特徴と適応後モデル特徴の整合性を強制する、ソースモデル特徴正則化（SMFR）を適用する。
• スプリットプーリングモジュール内で複数スケールにわたって共有ディスクリミネーターを用いることで、表現学習と安定性を向上させる。
• 検出損失、対抗損失、およびSMFR正則化を組み合わせ、FAFRCNNフレームワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 わずか数枚のラベル付きターゲット画像でのみ、少サンプル適応フレームワークがオブジェクト検出で最先端の性能を達成できるか？
• RQ2 特徴ペアリングと二段階適応が、最小限のラベル付きデータでドメインシフトを効果的に緩和できるか？
• RQ3 ソースモデル特徴正則化（SMFR）が、少サンプル適応における訓練の安定性と分散の低減にどの程度寄与するか？
• RQ4 スケール間でディスクリミネーターのパラメータを共有することで、画像レベル適応におけるドメイン不変表現学習が向上するか？
• RQ5 提案手法は、既存のUDA手法と比較して、最小限の微調整ステップで高速収束を達成できるか？

主な発見

• S→CシナリオにおいてFAFRCNNは39.3 AP（±0.6）を達成し、ソースモデル（33.5 AP）およびSMFRなしのベースライン（36.1 AP）を顕著に上回った。
• SMFRを適用することで、10回のランダム実行におけるAPの標準偏差が1.8から0.2に低下し、訓練の安定性が顕著に向上した。
• ペアリング機構により、全設定で2.3–3.2 APの向上が得られ、特にC→UおよびU→Cシナリオで最大の向上が観察された。
• スケール間でディスクリミネーターを共有することで、独立したディスクリミネーターと比較して1.7–1.8 APの向上が得られ、表現学習の補完的効果が示された。
• わずか1–8枚のターゲット画像でも、少サンプルドメイン適応（FDA）および非教師付きドメイン適応（UDA）の両設定で最先端の結果を達成した。
• 適応がわずか数百分のステップで収束するのに対し、従来のUDA手法は数万ステップを要するため、収束が著しく高速であることが示された。