[論文レビュー] Deeply Aligned Adaptation for Cross-domain Object Detection

Minghao Fu, Zhenshan Xie+2 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

本稿では、Faster R-CNNを用いたクロスドメインオブジェクト検出のためのエンドツーエンドドメイン適応手法であるDeeply Aligned Adaptation (DAA)を提案する。ドメインアライメントは、局所的ピクセル特徴（低レベル）、グローバル特徴（高レベル）、およびインスタンスレベルの前景・背景特徴の3段階で適用される。本手法は、局所的およびグローバルなアライメントを滑らかに接続するための遷移モジュール、敵対的学習を強化するドメインマスク統合（DMI）モジュール、および前景領域と背景領域の間の誤アライメントを防ぐための前景・背景に配慮したアライメントモジュールを導入しており、CityscapesからFoggy CityscapesへのベンチマークでSOTAのmAP 39.2%を達成している。

ABSTRACT

Cross-domain object detection has recently attracted more and more attention for real-world applications, since it helps build robust detectors adapting well to new environments. In this work, we propose an end-to-end solution based on Faster R-CNN, where ground-truth annotations are available for source images (e.g., cartoon) but not for target ones (e.g., watercolor) during training. Motivated by the observation that the transferabilities of different neural network layers differ from each other, we propose to apply a number of domain alignment strategies to different layers of Faster R-CNN, where the alignment strength is gradually reduced from low to higher layers. Moreover, after obtaining region proposals in our network, we develop a foreground-background aware alignment module to further reduce the domain mismatch by separately aligning features of the foreground and background regions from the source and target domains. Extensive experiments on benchmark datasets demonstrate the effectiveness of our proposed approach.

研究の動機と目的

• ラベル付きデータがソースドメインでのみ利用可能なクロスドメインオブジェクト検出におけるドメインシフトの課題に対処すること。
• Faster R-CNNの異なるネットワーク層における特徴の変動する転送可能性を考慮することで、ドメイン間での特徴転送性を向上させること。
• ドメイン適応中に前景領域と背景領域の間の誤アライメントを低減するため、インスタンスレベルの前景・背景に配慮したアライメントを導入すること。
• ドメインマスク統合（DMI）モジュールを用いて、より良いドメイン不変特徴学習のための敵対的学習を強化すること。
• 局所的ピクセルレベルとグローバル画像レベルのドメインアライメントのギャップを、新規の遷移モジュールで埋めること。

提案手法

• 複数レベルのドメインアライメント戦略を適用：初期層では局所的ピクセル特徴に対する敵対的学習、後続層ではグローバル画像特徴に対する敵対的学習、それに中間をつなぐ遷移モジュールを設ける。
• ドメインマスク統合（DMI）モジュールは、敵対的学習中により情報量の多いサンプルに高い重みを割り当てることで、識別器と生成器の最適化を向上させる。
• 前景・背景に配慮したアライメントモジュールを導入し、領域提案からの特徴を別々にアライメントすることで、一方のドメインの前景オブジェクトが他方のドメインの背景領域と誤ってアライメントされるのを防ぐ。
• Faster R-CNNフレームワークに統合され、複数段階にわたるドメイン適応モジュールを挿入することでエンドツーエンド学習が可能になっている。
• 敵対的学習を異なるレベルで適用：低レベル特徴に対してピクセルレベル、高レベル特徴に対してグローバルレベルで、遷移モジュールがアライメント戦略のシフトを調整する。
• 検出とドメイン適応の目的関数を同時に最適化するエンドツーエンドの訓練手法を採用している。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークの異なるレベルにドメインアライメントを効果的に適用する方法は何か？ これは、特徴の転送可能性が層ごとに異なることを考慮するためである。
• RQ2 前景領域と背景領域のアライメントを分離することで、オブジェクト検出におけるドメイン誤アライメントをどれほど低減できるか？
• RQ3 ドメインマスク統合（DMI）モジュールは、より情報量の多いサンプルに注目することで、敵対的学習を改善できるか？
• RQ4 局所的アライメントとグローバルアライメントの間の遷移モジュールは、特徴分布のアライメントをどのように向上させるか？
• RQ5 インスタンスレベルの前景・背景に配慮したアライメントは、クロスドメインオブジェクト検出におけるmAPを向上させるか？

主な発見

• 提案されたDAAモデルは、CityscapesからFoggy CityscapesへのベンチマークでmAP 39.2%を達成し、既存のSOTA手法を上回っている。
• アブレーションスタディの結果、遷移モジュールを追加することでmAPが27.1%から37.0%に向上し、局所的およびグローバルアライメントを接続する重要性が裏付けられた。
• DMIモジュールをモデルに追加すると、mAPが33.9%から37.6%に向上し、敵対的学習の収束性と特徴の一般化性能が向上していることが示された。
• 前景・背景に配慮したアライメントモジュールを追加することで、mAPが37.6%から39.2%に上昇し、オブジェクト領域と背景領域の間の誤アライメント低減効果が実証された。
• 前景と背景を区別しない場合、mAPは36.9%に低下し、インスタンスレベルのアライメントの必要性が裏付けられた。
• ドメイン確率の周波数ヒストグラムから、DMIにより0.5付近に均等にスコアが分布し、より良いドメインの混同と不変特徴学習が達成されていることが示された。