[論文レビュー] Neural Graph Matching Network: Learning Lawler's Quadratic Assignment Problem with Extension to Hypergraph and Multiple-graph Matching

Runzhong Wang, Junchi Yan+1 more|arXiv (Cornell University)|Nov 26, 2019

Graph Theory and Algorithms参考文献 76被引用数 24

ひとこと要約

本稿では、Lawlerの二次割当問題（QAP）の直接的エンドツーエンド学習を可能にする深層学習フレームワーク、Neural Graph Matching Network（NGM）を提案する。グラフマッチングを関連グラフ上の制約付き頂点分類タスクに定式化することで、合成QAPおよびQAPLIBベンチマークで最先端の性能を達成し、計算時間も大幅に削減される。さらに、新しい埋め込みおよび正規化技術を用いて、ハイパーグラフおよび複数グラフマッチングへ自然に拡張可能である。

ABSTRACT

Graph matching involves combinatorial optimization based on edge-to-edge affinity matrix, which can be generally formulated as Lawler's Quadratic Assignment Problem (QAP). This paper presents a QAP network directly learning with the affinity matrix (equivalently the association graph) whereby the matching problem is translated into a constrained vertex classification task. The association graph is learned by an embedding network for vertex classification, followed by Sinkhorn normalization and a cross-entropy loss for end-to-end learning. We further improve the embedding model on association graph by introducing Sinkhorn based matching-aware constraint, as well as dummy nodes to deal with unequal sizes of graphs. To our best knowledge, this is one of the first network to directly learn with the general Lawler's QAP. In contrast, recent deep matching methods focus on the learning of node/edge features in two graphs respectively. We also show how to extend our network to hypergraph matching, and matching of multiple graphs. Experimental results on both synthetic graphs and real-world images show its effectiveness. For pure QAP tasks on synthetic data and QAPLIB benchmark, our method can perform competitively and even surpass state-of-the-art graph matching and QAP solvers with notable less time cost. We provide a project homepage at http://thinklab.sjtu.edu.cn/project/NGM/index.html.

研究の動機と目的

• Lawlerの一般QAP定式化を直接最適化できる深層学習手法の不足に応えること。これはKoopmans-Beckmann QAPを包含し、より広範な適用可能性を可能にする。
• 分離された特徴抽出および組合せ最適化ステージを回避する、微分可能でエンドツーエンド学習可能なフレームワークを開発すること。
• 関連グラフパラダイムの一般化により、ハイパーグラフおよび複数グラフマッチングへの深層グラフマッチングの拡張を図ること。
• Sinkhorn正規化された埋め込みとダミー頂点機構を用いて、不均等サイズのグラフに対しても耐性とスケーラビリティを向上させること。
• 合成および実世界のデータセットにおいて、学習フリーのQAPソルバーと比較して競争力のある性能を示し、時間コストを著しく低減すること。

提案手法

• グラフマッチングを、対応する頂点ペairを表すノードと、ノードペア間の類似度をエンコードするエッジを持つ関連グラフ上の制約付き頂点分類問題として定式化する。
• GNNベースの埋め込みネットワークを用いて関連グラフ内のノード表現を学習し、その後Sinkhorn正規化を適用して置換制約を満たす。
• Sinkhorn正規化出力にクロスエントロピー損失を適用することで、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• Sinkhornベースの正則化を用いたマッチングに特化した制約を導入し、アライメント品質と一般化性能を向上させる。
• ハイパーグラフマッチングでは、関連グラフが関連ハイパーグラフに置き換えられ、微分可能なスペクトルマルチマッチングを用いて複数グラフへの一般化が図られる。
• 不均等サイズのグラフを処理するため、ダミー頂点を導入し、最適化中に置換行列の制約を保持する。

実験結果

リサーチクエスチョン

• RQ1 学習ステージや反復的リファインメントに依存せずに、深層学習モデルがLawlerのQAPを直接最適化できるか？
• RQ2 ニューラルネットワークをどのように設計すれば、ペアワイズグラフマッチングを超えてハイパーグラフおよび複数グラフマッチングの状況にも一般化できるか？
• RQ3 アーキテクチャのどの要素（例：Sinkhorn正規化、ノード類似度、SplineConv）がマッチング精度と耐性に最も寄与するか？
• RQ4 アフィニティ行列に対するエンドツーエンド学習は、従来の学習フリーのQAPソルバーと比較して、精度と効率の面でどのように異なるか？
• RQ5 本モデルは、合成データ、実世界の画像、QAPLIBのようなベンチマークデータセットを含む多様なグラフ構造にどの程度一般化可能か？

主な発見

• QAPLIBベンチマークにおいて、NGM-v2はG1000データセットで97.5%の精度を達成し、50%の時間コスト削減で最先端の学習フリーのソルバーを上回った。
• 合成QAPタスクにおいて、NGM-v2は200ノード問題で97.4%の精度を達成し、既存の深層学習および従来のソルバーを上回った。
• Pascal VOC Keypointデータセットでは、アブレーションスタディでNGM-v2が80.4%の精度を達成し、SplineConv特徴量の導入による10.2%の向上が確認された。
• Willow ObjectClassにおけるマルチグラフマッチングでは、NMGM-v2が10枚のグラフでのみ98.2%の精度を達成し、より多くのグラフを用いる学習フリーのベースライン（HiPPIやMGM-Floyd）を上回った。
• アブレーションスタディにより、CNN特徴量とQAPソルバーの共同学習が44.0%の精度を達成したのに対し、ImageNet特徴量を用いたRRWMは24.0%にとどまり、ソルバーの耐性を裏付けた。
• 本手法はハイパーグラフマッチングにもスムーズに一般化され、NGM-v2はPascal VOCでハイパーグラフ類似度を用いて80.4%の精度を達成し、高次元構造へのスケーラビリティを示した。