[論文レビュー] Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

Hongteng Xu, Dixin Luo+1 more|arXiv (Cornell University)|May 18, 2019

Advanced Graph Neural Networks参考文献 54被引用数 35

ひとこと要約

S-GWL を提案する。Gromov-Wasserstein 差異 (GW) を用いてグラフ分割とグラフマッチングを統合し加速するスケーラブルなフレームワークであり、GW重心を用いたマルチグラフ解析を含む。

ABSTRACT

We propose a scalable Gromov-Wasserstein learning (S-GWL) method and establish a novel and theoretically-supported paradigm for large-scale graph analysis. The proposed method is based on the fact that Gromov-Wasserstein discrepancy is a pseudometric on graphs. Given two graphs, the optimal transport associated with their Gromov-Wasserstein discrepancy provides the correspondence between their nodes and achieves graph matching. When one of the graphs has isolated but self-connected nodes ($i.e.$, a disconnected graph), the optimal transport indicates the clustering structure of the other graph and achieves graph partitioning. Using this concept, we extend our method to multi-graph partitioning and matching by learning a Gromov-Wasserstein barycenter graph for multiple observed graphs; the barycenter graph plays the role of the disconnected graph, and since it is learned, so is the clustering. Our method combines a recursive $K$-partition mechanism with a regularized proximal gradient algorithm, whose time complexity is $\mathcal{O}(K(E+V)\log_K V)$ for graphs with $V$ nodes and $E$ edges. To our knowledge, our method is the first attempt to make Gromov-Wasserstein discrepancy applicable to large-scale graph analysis and unify graph partitioning and matching into the same framework. It outperforms state-of-the-art graph partitioning and matching methods, achieving a trade-off between accuracy and efficiency.

研究の動機と目的

• グラフ分割とマッチングの両方に対して、統一的な GW ベースのアプローチを動機づける。
• 大規模グラフに GW 差異を適用するためのスケーラブルなアルゴリズムを開発する。
• 複雑さを低減するための再帰的な K-分割戦略を導入する。
• 計算を加速するために Sparse な正則化近傍勾配法を取り入れる。
• GW 重心を介してマルチグラフの分割とマッチングを可能にする。

提案手法

• GW 差異を準距離として用い、グラフを関連づけ、最適輸送を用いてノード対応関係または分割を得る。
• グラフ分割を d_gw(G, G_dc) として定式化する。ここで G_dc は disconnected の K ノードグラフで、K-ウェイ分割を得る。
• 観測グラフに対して重み付き GW 差異を最小にする GW 重心 GWB を用いたマルチグラフ解析へ拡張。
• 正則化近接勾配法 (p=2) を適用して d_gw を効率的に計算し、Sinkhorn ベースの解法と KLproximal 項を用いる。
• ノード分布ベースの先行情報とノード正則化コストを取り入れ、トランスポートをトポロジーを考慮したマッチングへ導く。
• 大規模グラフを小さなサブグラフに分解し局所的な GW マッチングを行う再帰的な K-分割機構を導入し、全体の複雑さを O(K(E+V) log_K V) に削減する。

実験結果

リサーチクエスチョン

• RQ1 GW 差異は単一の最適化フレームワークでグラフ分割とグラフマッチングを統合するために使用できるか？
• RQ2 GW 計算を大規模グラフに対してスケールさせつつ精度を維持するにはどうすればよいか？
• RQ3 学習された GW 重心は堅牢なマルチグラフのマッチングと分割を可能にするか？
• RQ4 再帰的な K-分割戦略はマッチング/分割の品質を犠牲にすることなく実行時間を大幅に削減できるか？
• RQ5 GW ベースのグラフ解析の安定性と性能を向上させる先行情報や正則化は何か？

主な発見

• S-GWL は時間計算量 O(K(E+V) log_K V) とメモリ O(E+VK) でスケーラブルなグラフ分割とマッチングを実現する。
• GW 差異は自然な関係的準距離として機能し、最適輸送を介してノード対応を分割へ結びつける。
• GW 重心を学習することで、グラフ間のクラスタを揃えて整合的なマルチグラフのマッチングと分割を実現する。
• KL 項を伴う正則化近接勾配法は、エントロピー系手法と比較して収束と数値安定性を向上させる。
• 実証結果は、S-GWL と GWL が、合成ネットワークおよび実ネットワークで最先端のベースラインより精度および/または効率で優れており、S-GWL が GWL を大幅に加速することを示す。
• 本手法は、合成 Gaussian/Barabási–Albert グラフおよび実世界ネットワーク（PPI や組織的コミュニケーションデータを含む）に適用しても効果的である。