[論文レビュー] SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection

Wuyang Li, Xinyu Liu+1 more|arXiv (Cornell University)|Mar 12, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

SIGMAは、クラス内ばらつきとドメイン不一致の意味的要因を解消するため、欠落しているカテゴリのための幻覚的グラフノードを生成し、ドメイン適応を二部グラフマッチング問題に再定式化することで、分野適応物体検出のための意味的完全なグラフマッチングフレームワークを提案する。グラフガイドドの意味的補完と構造に配慮したノードマッチングを用い、二次代数的割り当て損失を適用することで、最先端の性能を達成する。

ABSTRACT

Domain Adaptive Object Detection (DAOD) leverages a labeled domain to learn an object detector generalizing to a novel domain free of annotations. Recent advances align class-conditional distributions by narrowing down cross-domain prototypes (class centers). Though great success,they ignore the significant within-class variance and the domain-mismatched semantics within the training batch, leading to a sub-optimal adaptation. To overcome these challenges, we propose a novel SemantIc-complete Graph MAtching (SIGMA) framework for DAOD, which completes mismatched semantics and reformulates the adaptation with graph matching. Specifically, we design a Graph-embedded Semantic Completion module (GSC) that completes mismatched semantics through generating hallucination graph nodes in missing categories. Then, we establish cross-image graphs to model class-conditional distributions and learn a graph-guided memory bank for better semantic completion in turn. After representing the source and target data as graphs, we reformulate the adaptation as a graph matching problem, i.e., finding well-matched node pairs across graphs to reduce the domain gap, which is solved with a novel Bipartite Graph Matching adaptor (BGM). In a nutshell, we utilize graph nodes to establish semantic-aware node affinity and leverage graph edges as quadratic constraints in a structure-aware matching loss, achieving fine-grained adaptation with a node-to-node graph matching. Extensive experiments verify that SIGMA outperforms existing works significantly. Our code is available at https://github.com/CityU-AIM-Group/SIGMA.

研究の動機と目的

• 手作業で設計されたクラス中心に依存する従来のドメイン適応物体検出手法の限界、特にクラス内ばらつきを無視する点を是正する。
• 訓練バッチ内でカテゴリが片方のドメインでのみ出現する場合に生じるドメイン不一致の意味的要因を克服する。
• ドメイン適応を二部グラフマッチング問題に再定式化し、ソースドメインとターゲットドメイン間の細粒度で構造に配慮したアライメントを可能にする。
• ドメインレベル統計を用いて幻覚的グラフノードを生成することで、ターゲットドメインにおける欠落した意味的知識を回復する意味的補完メカニズムを開発する。
• 簡略化されたプロトタイプではなく、クラス条件付き分布をグラフでモデル化することで、より良い一般化性能を達成する。

提案手法

• ドメインレベル統計を用いて欠落カテゴリのための幻覚的グラフノードを生成するグラフ埋め込み意味的補完（GSC）モジュールを導入する。
• 特徴をグラフノードに変換するビジョン・ツー・グラフ（V2G）変換を実行し、その後、意味的完全なノード表現を得るためにディープグラフクラスタリング（DNC）を適用する。
• 両ドメインの画像間グラフを構築し、グラフ畳み込みネットワーク（GCN）を用いてクラス条件付き分布をモデル化する。
• 反復的精錬を経て意味的補完能力を向上させるグラフガイドドメモリバンクを学習する。
• ノード類似度とエッジ構造を制約として用いる二次代数的割り当て問題を解く二部グラフマッチング（BGM）アダプタを提案する。
• ノード類似度とエッジ整合性を組み合わせた構造に配慮したマッチング損失を定式化し、Sinkhorn正規化と微分可能な割り当て層を用いて最適化する。

Figure 1 : Illustration of the proposed SemantIc-complete Graph MAtching (SIGMA) framework for DAOD.

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースのアライメントを越えて、クラス条件付き分布のグラフベースモデリングがドメイン適応を改善できるか？
• RQ2 トレーニング中にターゲットドメインで欠落している意味的カテゴリを効果的に補完できるか？
• RQ3 ソースとターゲットのグラフ間で細粒度のノード同士のマッチングが、グローバルまたはカテゴリレベルの特徴アライメントを上回れるか？
• RQ4 グラフマッチングに構造的制約（エッジ）を組み込むことで、適応のロバスト性と正確性がどの程度向上するか？
• RQ5 幻覚的ノードによる意味的補完は、ソースのみの監視からのバイアスを低減し、未観測ドメインへの一般化を向上させるか？

主な発見

• SIGMAは、Cityscapes → Foggy Cityscapes や COCO → Cityscapes といった複数のドメイン適応ベンチマークで最先端の性能を達成する。
• EPMのようなクラスに依存しないベースラインと比較して、誤検出（偽陽性）と見逃し（偽陰性）の誤差が顕著に低減される。
• グラフガイドドメモリバンクは、特にカテゴリの不均衡が著しい状況でも意味的補完を向上させる。
• エッジ制約を組み込んだ構造に配慮したマッチング損失は、二重確率的類似度行列の可視化からも示されるように、より正確なノードペairリングを実現する。
• ウォームアップなしのエンドツーエンド学習でも、ウォームアップ戦略と同等の性能を達成し、学習の安定性と効率性を示す。
• アブレーションスタディにより、意味的補完とグラフマッチングの両コンポーネントが不可欠であることが確認され、完全なSIGMAフレームワークがアブレーションバージョンを上回る。

Figure 2 : Overview of the proposed SIGMA framework for DAOD. V2G represents vision-to-graph transformation.