[論文レビュー] Adaptive Object Detection with Dual Multi-Label Prediction

Zhao Zhen, Yuhong Guo+2 more|arXiv (Cornell University)|Mar 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 6

ひとこと要約

本稿では、マルチラベル予測を二重の補助タスクとして用いることで特徴のアライメントと検出の一貫性を向上させる、新しい非教師付きドメイン適応モデルMCARを提案する。マルチラベル予測に基づく条件付き対抗的特徴アライメントと一貫性正則化機構を導入することで、複数のベンチマークデータセットで最先端の性能を達成し、従来手法に比べてドメイン一般化性能と検出精度において顕著に優れている。

ABSTRACT

In this paper, we propose a novel end-to-end unsupervised deep domain adaptation model for adaptive object detection by exploiting multi-label object recognition as a dual auxiliary task. The model exploits multi-label prediction to reveal the object category information in each image and then uses the prediction results to perform conditional adversarial global feature alignment, such that the multi-modal structure of image features can be tackled to bridge the domain divergence at the global feature level while preserving the discriminability of the features. Moreover, we introduce a prediction consistency regularization mechanism to assist object detection, which uses the multi-label prediction results as an auxiliary regularization information to ensure consistent object category discoveries between the object recognition task and the object detection task. Experiments are conducted on a few benchmark datasets and the results show the proposed model outperforms the state-of-the-art comparison methods.

研究の動機と目的

• トレーニングデータとテストデータが異なる分布に由来するドメインシフトの課題に取り組むこと、特に視覚的変動が複雑なマルチオブジェクトシーンにおいて。
• 画像内のオブジェクトカテゴリのグローバルな情報を明らかにするために、マルチラベル認識を二重の補助タスクとして活用することでドメイン一般化性能を向上させること。
• マルチラベル予測を条件信号として用いることで、条件付き対抗的特徴アライメントにより特徴の判別性とドメイン不変性を高めること。
• 検出タスクと認識タスク間でオブジェクトカテゴリの予測を一貫性を持たせるために、一貫性正則化機構を導入すること。
• ラベルなしのターゲットドメインデータを必要としない非教師付きクロスドメインオブジェクト検出で最先端の性能を達成すること。

提案手法

• オブジェクト検出とマルチラベル画像分類を同時に最適化する二重タスク学習フレームワークを導入し、エンドツーエンドで学習を実行する。
• マルチラベル予測を補助タスクとして用い、画像からグローバルなカテゴリ情報を抽出し、それを対抗的ドメインアライメントプロセスの条件として活用する。
• グローバル画像特徴とマルチラベル予測出力を入力としてドメイン識別器に与えることで、条件付き対抗的ドメインアライメントを実行し、より判別力がありドメイン不変な特徴学習を可能にする。
• 検出ヘッド（領域候補上）とマルチラベルヘッド（グローバル特徴上）の予測を一致させるために一貫性正則化損失を導入し、一貫性のあるオブジェクトカテゴリの発見を保証する。
• 全体の学習目的は、検出損失、マルチラベル分類損失、対抗的ドメインアライメント損失、および一貫性正則化損失を組み合わせており、ハイパーパrameterがトレードオフを制御する。
• 特徴の可視化とt-SNE分析を用いて、ドメインアライメントの質とドメイン不変表現学習の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル予測を補助タスクとして用いることで、グローバルなカテゴリ情報を明らかにすることにより、マルチオブジェクト検出におけるドメイン適応が向上するか？
• RQ2 マルチラベル予測を条件として用いる条件付き対抗的特徴アライメントは、より良いドメイン不変かつ判別力のある特徴表現をもたらすか？
• RQ3 検出とマルチラベル認識ヘッド間の一貫性正則化は、ドメインシフト下での検出精度を向上させるか？
• RQ4 提案手法は、非教師付きドメイン適応の最先端手法と比較して、クロスドメインオブジェクト検出でどのように性能を発揮するか？
• RQ5 対抗的損失の重み付けやハードサンプルの注目度といった、重要なハイパーパrameterがモデル性能に与える影響は何か？

主な発見

• PASCAL VOCからWatercolorへのドメイン適応タスクにおいて、提案手法は平均平均精度（mAP）54.4%を達成し、次に優れた手法よりも5ポイント以上優れていた。
• CityscapesからFoggy Cityscapesへの適応タスクでは、ベースライン手法が失敗するような、視認性が低い遠くの車両を効果的に検出でき、視覚的劣化に対する耐性を示した。
• t-SNEを用いた特徴可視化では、提案手法がドメインシフトを顕著に軽減しており、ソースのみのベースラインと比較して、ソースドメインとターゲットドメインの特徴がより区別しにくくなっていることが確認された。
• ハイパーパrameter分析から、λ = 0.5およびγ = 5が最適な性能を示し、中程度の対抗的アライメントとバランスの取れたハードサンプルの注目が成功の鍵であることが示された。
• アブレーションスタディでは、条件付き対抗的アライメントと一貫性正則化の両方のコンponentsが性能向上に顕著に寄与しており、いずれかのコンponentsを除去するとmAPが著しく低下した。
• 定性的な結果では、DA-FasterやSW-DAと比較して、小形または遠くのオブジェクトに対する誤検出と見逃しの両方を低減した。