[論文レビュー] Diversify and Match: A Domain Adaptive Representation Learning Paradigm for Object Detection

Taekyung Kim, Minki Jeong+3 more|arXiv (Cornell University)|May 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 32

ひとこと要約

本稿では、教師なしオブジェクト検出を目的とした、新たなドメイン適応的表現学習パラダイム「Diversify and Match」を提案する。この手法は、ソースドメインに偏った判別性を軽減するため、ソースドメインから複数のずらされたドメインを生成するドメイン多様化（DD）と、複数ドメイン判別器を用いてドメイン間の特徴不変性を強制するマルチドメイン不変表現学習（MRL）を組み合わせる。本手法は、複数のデータセットにおいてmAPで先行手法を3%〜12%上回る最先端の性能を達成した。

ABSTRACT

We introduce a novel unsupervised domain adaptation approach for object detection. We aim to alleviate the imperfect translation problem of pixel-level adaptations, and the source-biased discriminativity problem of feature-level adaptations simultaneously. Our approach is composed of two stages, i.e., Domain Diversification (DD) and Multi-domain-invariant Representation Learning (MRL). At the DD stage, we diversify the distribution of the labeled data by generating various distinctive shifted domains from the source domain. At the MRL stage, we apply adversarial learning with a multi-domain discriminator to encourage feature to be indistinguishable among the domains. DD addresses the source-biased discriminativity, while MRL mitigates the imperfect image translation. We construct a structured domain adaptation framework for our learning paradigm and introduce a practical way of DD for implementation. Our method outperforms the state-of-the-art methods by a large margin of 3%~11% in terms of mean average precision (mAP) on various datasets.

研究の動機と目的

• 特徴レベルのドメイン適応におけるソースドメインに偏った判別性問題に対処すること。
• ピクセルレベルの適応における不完全な画像変換問題に対処すること。
• ターゲットドメインのアノテーションを一切必要としないゼロショットドメイン適応状況におけるオブジェクト検出器の一般化性能を向上させること。
• ドメイン多様化とマルチドメイン不変表現学習を統合した構造的でエンドツーエンドのフレームワークを構築すること。

提案手法

• ドメイン多様化（DD）は、色の保存と再構成制約を伴うデータ拡張を用いて、ソースドメインから複数の異なるずらされたドメインを生成する。
• 各ずらされたドメインは訓練中に別個のドメインとして扱われ、ラベル付きソースデータの分布が豊かになる。
• マルチドメイン不変表現学習（MRL）は、すべてのソースずらしドメインとターゲットドメイン間で特徴を統一するためにマルチドメイン判別器を用いる。
• MRL段階では敵対的訓練を用い、すべてのドメイン間で特徴が区別不能になるようにすることで、ドメイン不変表現を促進する。
• このフレームワークは、Faster R-CNNベースの検出器に統合され、検出とドメイン適応の共同最適化が可能になる。
• DDの実用的実装として、多様だが意味的に一貫性のあるドメインを生成する制約付きデータ拡張が導入された。

実験結果

リサーチクエスチョン

• RQ1 ドメイン多様化は、オブジェクト検出の特徴レベルドメイン適応におけるソースドメインに偏った判別性を効果的に軽減できるか？
• RQ2 マルチドメイン不変表現学習は、ピクセルレベル適応における不完全な画像変換問題を緩和できるか？
• RQ3 ドメイン多様化とマルチドメイン不変学習を組み合わせることで、未観測のターゲットドメインにおける一般化性能が向上するか？
• RQ4 多様化ドメインの数がドメイン適応における検出性能にどのように影響するか？

主な発見

• 提案手法は、複数のデータセットにおいて最先端の性能を達成し、mAPで既存手法を3%〜12%上回った。
• PASCAL VOC → Clipart1kベンチマークでは、分類精度52.5%、mIoU 68.5%を達成し、ベースラインおよびDAFを著しく上回った。
• アブレーションスタディの結果、3つのずらしドメインを用いた場合、DDの後にMRLを追加することでmAPが8.0%向上し、パイプライン全体の有効性が示された。
• DD単体では、ベースラインと比較して背景検出エラーが15%削減された。DDとMRLを組み合わせると、ベースライン比で正しく検出されたオブジェクト数が20%増加した。
• 実写、アートメディア、都市風景など多様なドメインにおいて一貫した性能向上が確認された。
• 誤差分析の結果、本手法は誤位置特定と背景エラーを顕著に低減するとともに、正しく検出されたオブジェクトの割合を増加させた。