[論文レビュー] Wasserstein Distance Based Domain Adaptation for Object Detection

Pengcheng Xu, Prudhvi Gurram+2 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 14

ひとこと要約

本論文は、オブジェクト検出のためのワサーベイン距離に基づく敵対的ドメイン適応フレームワークを提案し、ソース特徴量とターゲット特徴量の分布の乖離を最小化することで、ドメインシフトにわたる一般化性能を向上させる。従来のクロスエントロピーまたはGAN損失を使用する手法とは異なり、高次元の検出特徴空間においてより安定した学習を実現するため、ワサーベイン距離を活用し、ソースおよびターゲットの特徴抽出器を分離することで、独立した最適化を可能にした。その結果、合成データであるSIM10kデータからCityscapesに適応する際、40.6%という最先端のAPを達成した。

ABSTRACT

In this paper, we present an adversarial unsupervised domain adaptation framework for object detection. Prior approaches utilize adversarial training based on cross entropy between the source and target domain distributions to learn a shared feature mapping that minimizes the domain gap. Here, we minimize the Wasserstein distance between the two distributions instead of cross entropy or Jensen-Shannon divergence to improve the stability of domain adaptation in high-dimensional feature spaces that are inherent to object detection task. Additionally, we remove the exact consistency constraint of the shared feature mapping between the source and target domains, so that the target feature mapping can be optimized independently, which is necessary in the case of significant domain gap. We empirically show that the proposed framework can mitigate domain shift in different scenarios, and provide improved target domain object detection performance.

研究の動機と目的

• トレーニングデータ（ソース）とデプロイメントデータ（ターゲット）の分布が著しく異なる場合に、オブジェクト検出におけるドメインシフトを解決すること。
• ディープオブジェクト検出器に一般的な高次元特徴空間における、教師なしドメイン適応の安定性と性能を向上させること。
• 従来の敵対的ドメイン適応手法で見られる共有特徴抽出器の制限を克服し、ソースおよびターゲットネットワークの独立した最適化を可能にすること。
• ターゲットドメインのラベル付きデータを一切必要とせず、ターゲットドメインでの検出精度を向上させること。

提案手法

• ドメインギャップを最小化するため、ソースおよびターゲット特徴分布間のワサーベイン距離を指標として用いる。これにより、クロスエントロピーまたはジンセン・シャノンの分散を置き換える。
• 二段階のドメイン適応プロセスを導入：まず特徴レベルの分布のグローバルな整合を図り、次に領域提案ネットワーク（RPN）特徴のローカルな整合を実施する。
• ソースおよびターゲットの特徴抽出器を分離することで、ターゲットネットワークが独自の最適な特徴マッピングを独立して学習可能となり、大きなドメインギャップ下でも耐性が向上する。
• ワサーベイン距離を推定するための敵対的学習を実施し、勾配反転を用いてミニマックスの方法で特徴抽出器を更新する。
• ローカル統合段階では、検出損失とドメイン適応損失の両方を反復的に最小化することで、学習の安定性を向上させる。
• ドメイン識別器を騙すために特徴抽出器を端末から端末まで学習可能にするために、勾配反転層（GRL）をドメイン識別器に適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元のオブジェクト検出特徴空間において、従来のGAN損失と比較して、ワサーベイン距離はより安定したドメイン適応を実現できるか？
• RQ2 ドメインギャップが大きい状況下で、ソースおよびターゲット特徴抽出器を分離することで、適応性能が向上するか？
• RQ3 二段階のドメイン統合（グローバル統合からローカル統合）は、多様なドメインシフトシナリオにおいてドメインシフトを効果的に低減できるか？
• RQ4 提案手法は、ターゲットドメインのアノテーションを一切必要とせず、オブジェクト検出ベンチマークで最先端の性能を達成できるか？

主な発見

• 本手法は、合成データのSIM10kデータからCityscapesデータセットに適応する際、40.6%というAPを達成し、従来の教師なしドメイン適応手法を上回った。
• グローバルドメイン統合のみでも顕著な性能向上（AP 39.8%）を示し、ワサーベインベースの分布統合の有効性を裏付けた。
• ローカル統合により、39.8%から40.6%へとさらなる性能向上が達成され、領域提案の細分化された適応が誤検出の低減と局所化精度の向上に寄与していることが示された。
• 視覚的に確認された定性的な結果から、本手法は誤検出の低減と局所化精度の向上を実現しており、曇りの強い画像および実世界の画像両方で有効である。
• 本フレームワークは、合成データから実データへの移行や天候条件の変化など、多様なドメインシフトシナリオにおいても頑健であることが示された。
• 計算制約（例：小さなバッチサイズ）がローカル統合の潜在的効果を制限している可能性があり、より大きなバッチサイズやより良い正則化法によりさらなる改善が期待できる。