[論文レビュー] Graph Matching with Bi-level Noisy Correspondence

Yijie Lin, Mouxing Yang+4 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、アノテーションエラーによるノードレベルおよびエッジレベルの対応関係のノイズに起因するグラフマッチングにおける新たな課題であるバイレベルノイジーコリスポンデンス（BNC）を紹介する。著者らは、モーメンタムディスティルレーションを用いたコントラスト学習手法COMMONを提案し、ロバストな2次コントラスト損失とモーメンタムテイチャーモデルによる適応的ノイズペナルティを活用することで、ノイズのあるアノテーションにもかかわらず3つの実世界データセットで最先端の性能を達成した。

ABSTRACT

In this paper, we study a novel and widely existing problem in graph matching (GM), namely, Bi-level Noisy Correspondence (BNC), which refers to node-level noisy correspondence (NNC) and edge-level noisy correspondence (ENC). In brief, on the one hand, due to the poor recognizability and viewpoint differences between images, it is inevitable to inaccurately annotate some keypoints with offset and confusion, leading to the mismatch between two associated nodes, i.e., NNC. On the other hand, the noisy node-to-node correspondence will further contaminate the edge-to-edge correspondence, thus leading to ENC. For the BNC challenge, we propose a novel method termed Contrastive Matching with Momentum Distillation. Specifically, the proposed method is with a robust quadratic contrastive loss which enjoys the following merits: i) better exploring the node-to-node and edge-to-edge correlations through a GM customized quadratic contrastive learning paradigm; ii) adaptively penalizing the noisy assignments based on the confidence estimated by the momentum teacher. Extensive experiments on three real-world datasets show the robustness of our model compared with 12 competitive baselines. The code is available at https://github.com/XLearning-SCU/2023-ICCV-COMMON.

研究の動機と目的

• ノードレベルおよびエッジレベルの両方の対応関係がアノテーションエラーによって損なわれる、グラフマッチングにおける未だ十分に検討されていないバイレベルノイジーコリスポンデンス（BNC）問題に対処すること。
• 事前に特定されたノイズラベルや検証データを必要としない、ノイズのある対応関係に対してロバストな手法の開発。
• 線形（ノード対ノード）および2次的（エッジ対エッジ）な幾何的情報を、対応学習フレームワークに統合して、より良いアライメントを実現すること。
• 深層ネットワークの記憶行動に着目し、モーメンタムテイチャーモデルを用いて、ノイズに配慮した学習のための高品質な偽ターゲットを生成すること。

提案手法

• ロバストな2次コントラスト損失を採用し、グラフ幾何的一致性正則化子を用いてノード対ノードおよびエッジ対エッジの類似度を明示的にモデル化する。
• 対応学習目的関数に2次的構造的情報を埋め込む2つの新しい正則化子を導入し、ノードおよびエッジ間の相関モデリングを強化する。
• トレーニング中に安定した偽ターゲットを生成するために、モーメンタムテイチャーネットワークを用いる。深層ネットワークがノイズに適合する前に、まずクリーンなパターンを記憶するという事実を活用する。
• 学生モデルの予測とモーメンタムテイチャーの出力を比較することで、低信頼度の割り当てに対して適応的にペナルティを課し、ノイズのある対応関係の影響を低減する。
• アーキテクチャは、VGG16に基づく画像エンコーダ、Delaunayトライアングルレーションを用いたSplineCNNによるグラフ畳み込み、および2層のプロジェクションヘッド（256次元埋め込みへの特徴変換）から構成される。
• 最終的なノード類似度行列およびエッジ隣接行列は、投影された特徴量のドット積により計算され、コントラスト損失の根拠となる。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるノードおよびエッジ対応関係を有するバイレベルノイジーコリスポンデンスが、既存のグラフマッチング手法の性能にどのように影響を与えるか？
• RQ2 ノイズのある条件下で、線形および2次的類似度を効果的にモデル化できるように、コントラスト学習フレームワークを拡張できるか？
• RQ3 事前にノイズラベルが与えられていない状況でも、モーメンタムディスティルレーション戦略が、ノイズのある対応関係に対するロバストネスをどの程度向上できるか？
• RQ4 幾何的一致性正則化子の統合が、信頼性の高いノードおよびエッジレベルの対応関係を学習する能力をどの程度向上させるか？

主な発見

• 提案手法COMMONは、3つの実世界のグラフマッチングベンチマークで最先端の性能を達成し、12の競合ベースラインを上回った。
• 広範なアブレーションスタディにより、2次コントラスト損失およびモーメンタムディスティルレーションが、ノイズのある対応関係に対するロバストネスに不可欠であることが確認された。
• Pascal VOCおよびSPair-71kにおける可視化から、認識困難で視点差が大きいケースにおいても、マッチング精度が顕著に向上した。
• モーメンタムディスティルレーション戦略により、教師モデルの安定した予測を活用することで、ノイズのあるペairの影響が効果的に低減された。
• モーメンタムネットワークの追加にもかかわらず、推論速度は標準モデルと同一であり、トレーニング時間はベースモデルの約1.4倍にとどまった。