[論文レビュー] Unsupervised Domain Adaptation for Object Detection via Cross-Domain Semi-Supervised Learning

Fuxun Yu, Di Wang+8 more|arXiv (Cornell University)|Nov 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 36

ひとこと要約

CDSSLは、(1) ソースデータを検出指向の中間ドメインへ転送し、(2) 不均衡サンプリングと段階的信頼度に基づくラベリング鋭化を用いた反復自己学習を行うことで、複数のドメイン適応シナリオで最先端の結果を達成し、オブジェクト検出のドメインギャップを縮小します。

ABSTRACT

Current state-of-the-art object detectors can have significant performance drop when deployed in the wild due to domain gaps with training data. Unsupervised Domain Adaptation (UDA) is a promising approach to adapt models for new domains/environments without any expensive label cost. However, without ground truth labels, most prior works on UDA for object detection tasks can only perform coarse image-level and/or feature-level adaptation by using adversarial learning methods. In this work, we show that such adversarial-based methods can only reduce the domain style gap, but cannot address the domain content distribution gap that is shown to be important for object detectors. To overcome this limitation, we propose the Cross-Domain Semi-Supervised Learning (CDSSL) framework by leveraging high-quality pseudo labels to learn better representations from the target domain directly. To enable SSL for cross-domain object detection, we propose fine-grained domain transfer, progressive-confidence-based label sharpening and imbalanced sampling strategy to address two challenges: (i) non-identical distribution between source and target domain data, (ii) error amplification/accumulation due to noisy pseudo labeling on the target domain. Experiment results show that our proposed approach consistently achieves new state-of-the-art performance (2.2% - 9.5% better than prior best work on mAP) under various domain gap scenarios. The code will be released.

研究の動機と目的

• ドメインシフト下でターゲットラベルなしでもロバストな物体検出を確保するため、SSL由来の疑似ラベリングを活用する。
• 粗い特徴整列を超えて、スタイルと内容の分布ギャップ（物体密度、文脈）に対処する。
• 疑似ラベルの質を向上させる二段階のフレームワーク（ドメイン転送＋反復自己学習）を導入する。
• CDSSLを合成→実世界、クロスカメラ、通常→霧霜域などのドメイン適応評価で、従来の最先端と比較する。

提案手法

• 検出指向の中間ドメインへドメイン転送するため、受容野の制約を備えた細粒度のCycleGANを用い、前景／内容を維持しつつターゲットドメインのスタイルに合わせる。
• 中間ドメインで初期の疑似ラベルアノテータを訓練し、ターゲットドメインで高品質な疑似ラベルを生成する。
• ラベル付きのソース／中間データと疑似ラベル付きターゲットデータを組み合わせて、反復的な半教師付き自己学習を行う。
• 誤ラベルの蓄積を抑制するため、ソース／中間データを過剰サンプリングし、ターゲットの疑似ラベルデータを過少サンプリングする不均衡ミニバッチサンプリングを適用する。
• 信頼度ベースのハードラベリングを適用し、ラウンドを重ねるごとに信頼度閾値を段階的に引き上げ、誤った疑似ラベルの強化を避ける。

実験結果

リサーチクエスチョン

• RQ1 ドメインスタイル転写は、検出のためのSSLベース自己学習を有効にするほどの分布ギャップを十分に縮小できるか？
• RQ2 biased（不均衡）サンプリングと段階的ラベル鋭化を伴う反復自己学習は、UDA下でターゲットドメインの検出性能を向上させるか？
• RQ3 CDSSLの各成分（ドメイン転送、不均衡サンプリング、ラベル鋭化）は、さまざまなドメインシフトで検出性能の向上にどのように寄与するか？

主な発見

• CDSSLはSim2City、KITTI2City、City2Foggy適応ベンチマークで、従来の最先端を2.2%〜9.5%のmAPで一貫して上回る。
• 中間ドメインへのドメイン転送を行い、その後自己学習を行う手法は、自己学習単独またはドメイン転送単独よりも大きな利得を生む。
• 不均衡ミニバッチサンプリングと段階的信頼性ベースのラベリングは、ノイズの多い疑似ラベルによる誤差蓄積を緩和し、訓練を安定させる。
• 細粒度の検出指向ドメイン転送（小さなパッチサイズ）は、粗いグローバルトランスレーションよりも大きな利得をもたらす。
• 多クラス適応では、CDSSLは複数クラスでドメインギャップを縮小し、ドメイン転送後に初期的に性能が弱かったクラスに顕著な利得を示す。