[論文レビュー] GLMNet: Graph Learning-Matching Networks for Feature Matching

Bo Jiang, Pengfei Sun+2 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 23被引用数 23

ひとこと要約

GLMNetは、正則化された新しい損失関数を通じて、グラフ構造学習、ラプラシアン鋭化による判別的ノード埋め込み、および一対一マッチング制約を統合的に最適化するエンドツーエンドのグラフ学習・マッチングネットワークを提案する。PASCAL VOCおよびWILLOW-ObjectClassベンチマークにおいて最先端の性能を達成し、従来のGCNベースの手法と比較して平均精度で最大3.7%および11.5%の向上を達成した。

ABSTRACT

Recently, graph convolutional networks (GCNs) have shown great potential for the task of graph matching. It can integrate graph node feature embedding, node-wise affinity learning and matching optimization together in a unified end-to-end model. One important aspect of graph matching is the construction of two matching graphs. However, the matching graphs we feed to existing graph convolutional matching networks are generally fixed and independent of graph matching, which thus are not guaranteed to be optimal for the graph matching task. Also, existing GCN matching method employs several general smoothing-based graph convolutional layers to generate graph node embeddings, in which extensive smoothing convolution operation may dilute the desired discriminatory information of graph nodes. To overcome these issues, we propose a novel Graph Learning-Matching Network (GLMNet) for graph matching problem. GLMNet has three main aspects. (1) It integrates graph learning into graph matching which thus adaptively learn a pair of optimal graphs that best serve graph matching task. (2) It further employs a Laplacian sharpening convolutional module to generate more discriminative node embeddings for graph matching. (3) A new constraint regularized loss is designed for GLMNet training which can encode the desired one-to-one matching constraints in matching optimization. Experiments on two benchmarks demonstrate the effectiveness of GLMNet and advantages of its main modules.

研究の動機と目的

• 深層グラフマッチングモデルにおける固定で手作業で作成されたグラフの制限を解消すること。これはマッチングタスクに対して最適でない可能性がある。
• 標準的なGCNにおける特徴の平滑化問題を克服すること。これはマッチング状況下で判別的ノード情報が希釈されるのを防ぐ。
• 訓練中に一対一マッチング制約をより効果的に統合することで、標準的な正規化手法を上回る予測精度を向上させること。
• グラフ学習、埋め込み生成、マッチング最適化を1つのエンドツーエンドで訓練可能なアーキテクチャに統合すること。

提案手法

• マッチングパイプラインにグラフ学習を統合し、固定構造（k-NN やデローニー三角形分割など）に依存せず、各マッチングタスクに最適なグラフを適応的に学習可能にする。
• ノード埋め込みを向上させるために、ラプラシアン鋭化畳み込みモジュールを採用し、ノードを近隣から遠ざけることで、標準GCNの平滑化効果を補正する。
• 訓練中に一対一マッチング制約を明示的に符号化する制約正則化損失関数を設計し、予測の整合性と正確性を向上させる。
• ノード特徴とグラフトポロジをエンドツーエンドで同時に最適化できる、可学習隣接行列を備えた対称的GCNアーキテクチャを採用する。
• ノード特徴とマッチング目的に基づいて、グラフ構造を動的に更新する微分可能グラフ構築メカニズムを適用する。
• 損失関数にマッチング精度と制約準拠性を組み合わせ、バックプロパゲーションを用いて全ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 適応的グラフ学習は、固定グラフ構造と比較して、深層グラフマッチングにおける性能向上をもたらすか？
• RQ2 ラプラシアン鋭化は、特徴マッチングの文脈で、標準グラフ畳み込みと比較してより判別的なノード埋め込みを生成するか？
• RQ3 制約正則化損失は、標準的な二重確率的正規化と比較して、一対一マッチング予測の正確性を向上させるか？
• RQ4 GLMNetの各構成要素—グラフ学習、鋭化、正則化—は、全体の性能にそれぞれどのように寄与しているか？

主な発見

• PASCAL VOCデータセットでは、最も類似したベースラインであるPCA-GM [24] に対して3.7%の向上を達成し、特徴マッチングにおける優位性を示した。
• WILLOW-ObjectClassデータセットでは、PCA-GM-Willowに対して2.4%、GMN-Willowに対して11.5%の向上を達成し、多様なオブジェクトクラスにわたる高いロバスト性を示した。
• アブレーションスタディにより、グラフ学習、ラプラシアン鋭化、制約正則化の各要素が性能向上に顕著に寄与していることが確認され、特にグラフ学習が最大の貢献を示した。
• 両ベンチマークにおける定性的な例から、外見的およびポーズの変化が著しい状況下でも、特徴点の正確なマッチングが成功していることが示された。
• 制約正則化損失は、一対一マッチングを効果的に強制し、誤った割り当てを低減させ、最終的な予測の一貫性を向上させた。
• アブレーションスタディの結果、3つのコアコンponentsのいずれかを削除すると精度が顕著に低下し、それらが必要不可欠であることが裏付けられた。