[論文レビュー] Graph Matching Networks for Learning the Similarity of Graph Structured Objects

Yujia Li, Chenjie Gu+3 more|arXiv (Cornell University)|Apr 29, 2019

Advanced Graph Neural Networks被引用数 234

ひとこと要約

本論文はグラフ照合ネットワーク（GMN）を導入し、クロスグラフアテンションを用いてグラフの類似度を計算します。埋め込みベースのGNNや手工業的ベースラインを、バイナリ関数のCFGを含むグラフ類似タスクで上回ります。

ABSTRACT

This paper addresses the challenging problem of retrieval and matching of graph structured objects, and makes two key contributions. First, we demonstrate how Graph Neural Networks (GNN), which have emerged as an effective model for various supervised prediction problems defined on structured data, can be trained to produce embedding of graphs in vector spaces that enables efficient similarity reasoning. Second, we propose a novel Graph Matching Network model that, given a pair of graphs as input, computes a similarity score between them by jointly reasoning on the pair through a new cross-graph attention-based matching mechanism. We demonstrate the effectiveness of our models on different domains including the challenging problem of control-flow-graph based function similarity search that plays an important role in the detection of vulnerabilities in software systems. The experimental analysis demonstrates that our models are not only able to exploit structure in the context of similarity learning but they can also outperform domain-specific baseline systems that have been carefully hand-engineered for these problems.

研究の動機と目的

• GNNが類似性推論のためのグラフ埋め込みを学習できることを示す。
• クロスグラフアテンションを介してグラフ対を jointly 推論するGraph Matching Networksを導入する。
• GMNが手工業的ベースラインや構造非依存モデルを、CFGベースの関数類似性やメッシュ検索といった領域で上回ることを示す。
• グラフ類似性タスクにおける埋め込みベースとマッチングベースのアプローチの効率性とトレードオフを評価する。

提案手法

• 3部構成のグラフ埋め込みモデル: エンコーダはノード/エッジ特徴を初期ベクトルに変換する;伝播層はノード表現を更新する;アグリゲータがグラフベクトルを形成し類似度を計算する。
• Graph Matching Networks (GMNs) はノード更新にクロスグラフマッチングベクトルを組み込むアテンションベースの仕組みを採用し、グラフ対間での連携を可能にする。クロスグラフアテンションの重みはノードを整列させ、差異を捉える。
• クロスグラフアテンション: a_j->i = exp(s_h(h_i^(t), h_j^(t))) / sum_j' exp(s_h(h_i^(t), h_j'^(t))); mu_j->i = a_j->i (h_i^(t) - h_j^(t)); h_i^(t+1) = f_node(h_i^(t), sum_j m_j->i, sum_j' mu_j'->i).
• 学習信号: pairwise margin loss L_pair と triplet loss L_triplet をグラフ埋め込み間のユークリッド距離に適用; 迅速な検索のための tanh を用いた二値/ハミング変種もオプションとしてあり。

実験結果

リサーチクエスチョン

• RQ1 GNNは類似タスクのための効果的なグラフ埋め込みを生成できるか。
• RQ2 クロスグラフアテンション機構（GMN）は独立した埋め込みより類似判断を改善するか。
• RQ3 実データおよび合成データのグラフ類似問題において、埋め込みベースとマッチングベースのアプローチの性能トレードオフはどうなるか。
• RQ4 GMNはCFGベースの二値関数類似性とメッシュ検索でベースラインと比較してどう機能するか。

主な発見

• GMNはグラフ埋め込みモデル（GNN）を常に上回る。
• GMNはグラフ類似性設定で手工学ベースラインおよび WLカーネルベースラインを上回る。
• クロスグラフアテンションはグラフがマッチする場合に整列を可能にし、差異がある場合には構造/意味的変動に対する感度を高める。
• グラフ編集距離の代理タスクで、GMNはGNNおよびWLカーネルベースラインより高いペアAUCとトリプレット精度を達成する。
• 関数類似検索では、GMNが埋め込み型およびシアム系Variantを上回り、早期のクロスグラフ通信の価値を示す。