[論文レビュー] MeGA-CDA: Memory Guided Attention for Category-Aware Unsupervised Domain Adaptive Object Detection

Vibashan VS, Vikram Gupta+3 more|arXiv (Cornell University)|Mar 6, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

MeGA-CDAは、カテゴリに依存しないドメイン適応による負の転送を克服するために、非教師ありドメイン適応物体検出におけるカテゴリ認識特徴アライメントを可能にするメモリガイドドアテンションメカニズムを提案する。メトリック学習で強化されたメモリバンクを用いてカテゴリ固有のアテンションマップを生成することで、ターゲットアノテーションを必要とせずに特徴をカテゴリ固有の識別器にルーティングする。Cityscapes や Foggy-Cityscapes などのベンチマークデータセットで最先端のmAP向上を達成する。

ABSTRACT

Existing approaches for unsupervised domain adaptive object detection perform feature alignment via adversarial training. While these methods achieve reasonable improvements in performance, they typically perform category-agnostic domain alignment, thereby resulting in negative transfer of features. To overcome this issue, in this work, we attempt to incorporate category information into the domain adaptation process by proposing Memory Guided Attention for Category-Aware Domain Adaptation (MeGA-CDA). The proposed method consists of employing category-wise discriminators to ensure category-aware feature alignment for learning domain-invariant discriminative features. However, since the category information is not available for the target samples, we propose to generate memory-guided category-specific attention maps which are then used to route the features appropriately to the corresponding category discriminator. The proposed method is evaluated on several benchmark datasets and is shown to outperform existing approaches.

研究の動機と目的

• 非教師あり物体検出におけるカテゴリに依存しないドメイン適応が引き起こす負の転送を解消すること。
• ターゲットドメインのアノテーションを必要とせずに、ドメイン適応にカテゴリ固有の情報を統合すること。
• カテゴリ認識アテンションマップを生成するメモリベースのメカニズムを開発すること。
• ソースドメインのボクシングボックスからの弱い教師信号を用いて、メトリック学習によりメモリバンクの効果を高めること。
• 非教師ありドメイン適応の物体検出ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 局所的同時分布マッチングを実行するカテゴリごとの識別器を提案し、カテゴリ認識特徴アライメントを保証する。
• カテゴリ固有のメモリバンクに格納されたプロトタイプ特徴を用いて、特徴を正しい識別器にルーティングするメモリガイドドアテンションマップを導入する。
• トレーニング中にプロトタイプ特徴を格納・更新するメモリネットワークを採用し、長期的なパターン保持を可能にする。
• バックボーンからの特徴クエリを用いてメモリバンクから類似するアイテムを検索し、類似度スコアに基づいてアテンションマップを計算する。
• ソースドメインのボクシングボックスからの弱い教師信号を用いて、クエリ特徴とメモリプロトタイプ間の類似度メトリックを学習するメトリック学習を適用する。
• VGG16バックボーンの複数の特徴層（conv4およびconv5）で、グローバルドメイン識別器とメモリガイドドアテンションメカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ認識特徴アライメントは、非教師ありドメイン適応物体検出における負の転送を低減できるか？
• RQ2 ターゲットドメインのアノテーションが利用できない状況で、どのようにカテゴリ固有のアテンションを生成できるか？
• RQ3 メモリネットワークは、アテンションマップ生成のためのカテゴリ固有の特徴プロトタイプを効果的に学習・保持できるか？
• RQ4 ヒューリスティックな類似度測定よりも、メトリック学習はアテンションマップの品質と全体的な検出パフォーマンスを向上させるか？
• RQ5 カテゴリ認識アライメントを用いたマルチレイヤー適応は、ドメインシフトベンチマークにおけるmAPにどの程度向上効果をもたらすか？

主な発見

• MeGA-CDAは、Cityscapes → Foggy-Cityscapes の適応タスクで、ソースオンリーベースライン比でmAPを4.1%向上させる。
• conv4およびconv5の両層にMeGA-CDAを適用すると、単一レイヤー適応に比べてmAPがさらに2%向上する。
• conv5層でメトリック学習に基づく類似度を用いることで、コサイン類似度に比べてmAPが2.1%向上する。
• 定性的な結果から、MeGA-CDAはグローバルドメインアライメントに起因する誤検出と見逃し検出を低減することが示された。
• メトリック学習で生成されたアテンションマップは、コサイン類似度に比べてより正確で焦点が合った物体領域への注目を示している。
• 本手法は、ターゲットドメインのアノテーションを一切必要とせず、複数のベンチマークデータセットで最先端のパフォーマンスを達成する。