[論文レビュー] Domain Adaptation for Object Detection via Style Consistency

Adrian Rodriguez, Krystian Mikolajczyk|arXiv (Cornell University)|Nov 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 60

ひとこと要約

本研究は物体検出のための2段階のドメイン適応法を提案する： (1) ピクセルレベルのスタイル転送で低レベルのスタイルギャップを埋め、特徴整合性制約を導入、(2) ロバストな疑似ラベリングで高レベル特徴を適応させる。VOC上のSSD300とスタイル変異ターゲットドメインで評価。

ABSTRACT

We propose a domain adaptation approach for object detection. We introduce a two-step method: the first step makes the detector robust to low-level differences and the second step adapts the classifiers to changes in the high-level features. For the first step, we use a style transfer method for pixel-adaptation of source images to the target domain. We find that enforcing low distance in the high-level features of the object detector between the style transferred images and the source images improves the performance in the target domain. For the second step, we propose a robust pseudo labelling approach to reduce the noise in both positive and negative sampling. Experimental evaluation is performed using the detector SSD300 on PASCAL VOC extended with the dataset proposed in arxiv:1803.11365 where the target domain images are of different styles. Our approach significantly improves the state-of-the-art performance in this benchmark.

研究の動機と目的

• ソースドメインとターゲットドメインが低レベルおよび高レベルの特徴で異なる場合の物体検出に対するドメイン適応を動機づける。
• 高レベルの特徴の一貫性を促進しつつ、低レベルのドメインギャップを減らすピクセルレベルのスタイル転送手法を開発する。
• ターゲットドメインの高レベルの差異に適応させるためのロバストな疑似ラベリング戦略を導入する。
• スタイル転送、特徴の一貫性、そしてロバストな疑似ラベリングを統合した統一の学習目的関数を構築する。
• PASCAL VOC を用いた SSD300 で、スタイルの異なるターゲットドメイン（Clipart、Watercolor、Comic）で実証的に検証する。

提案手法

• Adaptive Instance Normalizationスタイル転送を用いて、各ソース画像 x_S から複数のスタイル転移バリアント x_S→T を生成する。
• K 個の最後の特徴マップにおいて、f_k(x_S) と f_k(x_S→T) の距離を最小化して特徴の一貫性を強制する。
• 低レベルの堅牢性を促進するため、x_S および x_S→T の両方に対して標準損失でSSDを訓練する。
• h(b) の閾値を用いて高信頼度の検出を陽として選択し、別の閾値でネガティブをサンプリングしてノイズを減らすことで、ターゲットドメイン画像にロバストな疑似ラベリングを適用する。
• x_T および x_T→T の疑似ラベルを生成し、ソースとターゲットのスタイル拡張データの両方を用いて再訓練する。
• 損失を L = λ1 L_ST + λ2 L_Cons + λ3 L_S + λ4 L_RPL の単一の目的関数に結合し、2 段階の訓練を行う（初期段階はソースとスタイル転送データを使用、第二段階は疑似ラベル付きターゲットデータを含む）。

実験結果

リサーチクエスチョン

• RQ1 スタイルベースのピクセル適応だけで、視覚的に異なるスタイル間での物体検出のドメインギャップを埋めることができるか。
• RQ2 元画像とスタイル転送画像間で高レベルの特徴の一貫性を強制することは、低レベルの変更に対する検出器の頑健性を向上させるか。
• RQ3 ターゲットドメイン画像のロバストな疑似ラベリングを組み込むことで、分類器を高レベルのドメインシフトへさらに適応させるか。
• RQ4 スタイル転送、特徴の一貫性、ロバストな疑似ラベリングを組み合わせた場合の、クロスドメイン検出性能への効果は何か。

主な発見

• 特徴の一貫性を伴うスタイル転送は、ドメイン転送画像のみを用いる場合と比べて、スタイルの異なるドメイン間で検出性能を向上させる。
• 高レベルの特徴の一貫性を強制することは、Clipart1k、Watercolor2k、Comic2k のデータセットで追加の利得を生む。 （定量的な具体値は論文の結果に記載。）
• ターゲットドメイン画像とスタイル転送されたターゲットドメイン画像を用いたロバストな疑似ラベリングは、スタイル転送のみまたは疑似ラベリングのみを用いるよりも性能をさらに向上させる。
• 統合アプローチは、評価対象のベンチマークにおいて、従来のドメイン適応手法と比較して最先端の改善を達成する。