[論文レビュー] Multi-level Domain Adaptive learning for Cross-Domain Detection

Rongchang Xie, F. Richard Yu+3 more|arXiv (Cornell University)|Jul 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 10

ひとこと要約

本論文は、複数のドメイン分類器を異なる特徴スケールで使用し、ドメイン間でグローバルおよびローカル特徴の分布を共同で整列させるマルチレベルのドメイン適応型Faster R-CNNを提案する。この手法により、ドメイン間オブジェクト検出性能が顕著に向上し、階層的特徴監視による強化された敵対的訓練を可能にすることで、Foggy Cityscapes、KITTI、SIM10kベンチマークで最先端のmAP向上を達成した。

ABSTRACT

In recent years, object detection has shown impressive results using supervised deep learning, but it remains challenging in a cross-domain environment. The variations of illumination, style, scale, and appearance in different domains can seriously affect the performance of detection models. Previous works use adversarial training to align global features across the domain shift and to achieve image information transfer. However, such methods do not effectively match the distribution of local features, resulting in limited improvement in cross-domain object detection. To solve this problem, we propose a multi-level domain adaptive model to simultaneously align the distributions of local-level features and global-level features. We evaluate our method with multiple experiments, including adverse weather adaptation, synthetic data adaptation, and cross camera adaptation. In most object categories, the proposed method achieves superior performance against state-of-the-art techniques, which demonstrates the effectiveness and robustness of our method.

研究の動機と目的

• 照明、スタイル、スケール、外観の変化に起因するドメインシフトの課題に対処し、ドメイン間でモデル性能が低下することを防ぐ。
• 従来のドメイン適応手法がローカルレベルの特徴を効果的に整列できないという限界を克服し、大きなドメインシフト下でも最適でない検出性能を回避する。
• 異なるネットワークの深さに複数のドメイン分類器を導入することで、ドメイン間の特徴分布整列を向上させ、敵対的訓練を強化する。
• 推論時にドメイン分類器を使用しないように設計することで、推論効率を維持する。
• 悪天候、合成データ、クロスカメラ設定を含む多様なクロスドメインシナリオにおいて、強力な性能を示す。

提案手法

• RPNおよびROIプーリング層などの異なる特徴抽出段階に複数のドメイン分類器を設け、特徴整列を監視するマルチレベルドメイン適応型Faster R-CNNを提案する。
• 勾配反転層（GRL）を用いてエンドツーエンドの敵対的訓練を可能にし、ドメイン分類器からの勾配を逆転させてバックボーンネットワークを更新する。
• マルチスケールのドメイン分類器を用いて、グローバルレベルの特徴（画像レベル）とローカルレベルの特徴（インスタンスレベル）の両方を整列させ、ドメインシフトに対する耐性を向上させる。
• 低レベルの特徴抽出器が、以降のすべてのドメイン分類器からの勾配を受け取るようにモデルを設計し、分類器を欺く能力を高め、整列性能を向上させる。
• t-SNE可視化を用いて、ソースドメインとターゲットドメイン間での特徴分布整列の有効性を分析・検証する。
• 推論効率を保つために、訓練時のみにターゲットドメインの画像（ラベルなし）とソースドメインのアノテーションを使用してモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 複数のドメイン分類器を用いたマルチレベルの敵対的訓練は、クロスドメインオブジェクト検出におけるローカルおよびグローバル特徴の整列を向上させるか？
• RQ2 マルチレベルドメイン適応は、単一レベルまたはグローバル特徴のみの整列と比較して、大きなドメインシフトに対処する上で優れているか？
• RQ3 複数のドメイン分類器の使用は、悪天候、合成データ、クロスカメラ設定など多様なドメインにおけるモデルの頑健性と一般化能力を向上させるか？
• RQ4 小さなドメインシフトが生じるドメインでは、マルチレベル適応が性能の低下をどの程度軽減できるか？（ドメイン適応が不安定化を引き起こす可能性があるため）
• RQ5 複数のドメイン分類器から得られる階層的勾配フローは、ネットワークの異なる深さにおける特徴抽出器の学習能力にどのように影響するか？

主な発見

• Foggy Cityscapesベンチマークでは、提案手法が平均平均精度（mAP）40.7を達成し、ベースライン（34.0）およびDAモデル（34.4）を大きく上回り、悪天候適応における優れた性能を示した。
• CityscapesからKITTIへのクロスカメラ適応タスクでは、mAPが40.7に達し、ベースライン（34.0）およびDAモデル（34.4）を上回った。特に、人間、自転車乗り、トラックの検出性能が向上した。
• SIM10kの適応実験では、最先端の性能を達成し、合成データから実データへのドメイン転送の有効性を示した。
• t-SNE可視化により、提案手法がDAモデルよりもグローバルおよびローカル特徴をより効果的に整列していることが確認され、特にローカル特徴の不整合を顕著に低減した。
• 誤検出や誤分類を低減した（例：誤ってバスをトラックと分類するのを防ぐ）—特に濃霧のような困難な条件下で顕著に改善された。
• 複数のドメイン分類器が推論時に使用されないため、推論効率が維持された。