[論文レビュー] Gromov-Wasserstein Learning for Graph Matching and Node Embedding

Hongteng Xu, Dixin Luo+2 more|arXiv (Cornell University)|Jan 17, 2019

Advanced Graph Neural Networks参考文献 51被引用数 88

ひとこと要約

この論文は、正規化された GW 不一致を最小化することでグラフを同時に照合し、クロスグラフノード埋め込みを学習する Gromov-Wasserstein Learning を提案する。解は近接点法を用いて解かれる。

ABSTRACT

A novel Gromov-Wasserstein learning framework is proposed to jointly match (align) graphs and learn embedding vectors for the associated graph nodes. Using Gromov-Wasserstein discrepancy, we measure the dissimilarity between two graphs and find their correspondence, according to the learned optimal transport. The node embeddings associated with the two graphs are learned under the guidance of the optimal transport, the distance of which not only reflects the topological structure of each graph but also yields the correspondence across the graphs. These two learning steps are mutually-beneficial, and are unified here by minimizing the Gromov-Wasserstein discrepancy with structural regularizers. This framework leads to an optimization problem that is solved by a proximal point method. We apply the proposed method to matching problems in real-world networks, and demonstrate its superior performance compared to alternative approaches.

研究の動機と目的

• ノイズが多い、あるいは欠落している場合の頑健なグラフ照合を動機づける。
• ノード埋め込みとグラフ間の整合を導くクロスグラフ輸送計画を共同で学習する。
• 構造的正則化項を伴うGromov-Wasserstein不一致の下でグラフ照合と埋め込み学習を統合する。

提案手法

• データと埋め込みから導出された距離行列を用いて、2つのグラフに対するGW不一致を定義する。
• C_s と C_t をデータ駆動と埋め込みベースの距離の混合として構築する（C_k(X_k) = (1-α)C_k + αK(X_k,X_k)）。
• 埋め込み間の Wasserstein 不一致をK(X_s,X_t) を介して組み込む。
• X_s, X_t に対する事前整合性損失 R(X_s,X_t) で埋め込みを正則化する。
• KL発散を用いた近接点法（Sinkhorn 等価のステップ）により、非凸問題をT（最適輸送）とX（埋め込み）に関して交互最適化として解く。
• 初期化スケジュールは外側の反復ごとに α を大きくするように設定し、共同学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 GW不一致を用いて2つのグラフを同時に整列させ、クロスグラフノード埋め込みを学習することはできるか？
• RQ2 埋め込みベースの距離と正則化項を取り入れると、データのみのGW照合と比較してノイズの多い/部分的なグラフに対する頑健性が向上するか？
• RQ3 輸送と埋め込みを学習する提案された近接点法最適化の有効性と安定性はどうか？
• RQ4 合成データと実データネットワーク上で、最先端のグラフ照合手法と比較して本手法はどのようにスケールし、性能を発揮するか？

主な発見

方法	Call->Email (Sparse)	Call->Email (Dense)	ノード正解率 (%) (Sparse)	ノード正解率 (%) (Dense)
GAA	34.22	0.53	-	-
LRSA	38.20	2.93	-	-
TAME	37.39	2.67	-	-
GRAAL	39.67	0.48	-	-
MI-GRAAL	35.53	0.64	-	-
MAGNA++	7.88	0.09	-	-
HugAlign	36.21	3.86	-	-
NETAL	36.87	1.77	-	-
GWD	23.16 ± 0.46	1.77 ± 0.22	-	-
GWL-R	39.64 ± 0.57	3.80 ± 0.23	-	-
GWL-C	40.45 ± 0.53	4.23 ± 0.27	-	-

• 本手法は同一のソース/ターゲットグラフに対してほぼ100%のノード正解を達成し、合成テストで GW 不一致をほぼ0に近づける。
• 埋め込みを考慮した GWL (GWL-C, GWL-R) はデータのみの GW 照合 (GWD) を上回り、特にノイズが高い場合に優れている。
• MC3 通信ネットワークデータセットでは、GWL の変種が、疎結合・密結合の両方のグラフで競合他社のグラフ照合手法の範囲を上回る。
• GWL から学習された埋め込みはグラフ間で共通の多様体に整列し、重なり合う埋め込みが照合ペアを示す。
• 本手法は計算量と頑健性の面で有利で、GPU 上での並列化可能な要素を含む。