[論文レビュー] RetGK: Graph Kernels based on Return Probabilities of Random Walks

Zhen Zhang, Mianzhi Wang+3 more|arXiv (Cornell University)|Sep 7, 2018

Advanced Graph Neural Networks被引用数 38

ひとこと要約

本稿では、ランダムウォークの帰還確率に基づく、ノードの構造的役割を効果的に捉え、離散的および連続的ノード属性を統合する、新しいグラフカーネルフレームワークRetGKを提案する。この手法は、大規模グラフにおいても顕著な精度向上と計算効率の向上を達成し、グラフ分類タスクで最先端の性能を発揮する。

ABSTRACT

Graph-structured data arise in wide applications, such as computer vision, bioinformatics, and social networks. Quantifying similarities among graphs is a fundamental problem. In this paper, we develop a framework for computing graph kernels, based on return probabilities of random walks. The advantages of our proposed kernels are that they can effectively exploit various node attributes, while being scalable to large datasets. We conduct extensive graph classification experiments to evaluate our graph kernels. The experimental results show that our graph kernels significantly outperform existing state-of-the-art approaches in both accuracy and computational efficiency.

研究の動機と目的

• グラフの同型不変性を保ちつつ、トポロジー構造とノード属性を効果的に捉えるグラフカーネルの設計という課題に取り組む。
• 部分構造に基づくグラフカーネルにおける対角優位性の問題を、小さな部分グラフに分解することなく回避する。
• 近似特徴マップとテンソル表現を活用することで、大規模グラフにおける計算の効率化を実現する。
• 帰還確率特徴を用いて、属性付きおよび属性なしのグラフを統一的なカーネルフレームワーク内で取り扱う。
• さまざまな属性タイプを有する多様なベンチマークデータセットにおいて、高い精度とスケーラビリティを達成するグラフ分類を実現する。

提案手法

• Sステップ後のランダムウォークが元のノードに戻る確率に基づくノードレベルの構造的記述子として、帰還確率特徴（RPF）を導入する。
• RPFが同型不変であり、豊富なトポロジー情報を符号化できることを証明し、グラフのヒルバート空間埋め込みを可能にする。
• 2つのグラフのノード間におけるRPFの分布を比較する正定値カーネルを用いて、RetGK_Iカーネルを構築する。
• 各グラフを多次元テンソルとして表現するための近似明示的特徴マップを適用し、計算の効率化を図る。
• RPFの近似にモンテカルロサンプリングを用いることで計算コストを削減する、計算効率の高い変種であるRetGK_IIを導出する。
• テンソルベースの演算を用いてカーネルを効率的に計算し、数百万ノードを含む大規模グラフへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークの帰還確率は、グラフノードの有効で同型不変な構造的記述子として機能するか？
• RQ2 帰還確率特徴は、カーネルベースの学習のためのヒルバート空間へのグラフ埋め込みにどのように利用できるか？
• RQ3 提案されたカーネルフレームワークは、離散的および連続的ノード属性を統一的に扱えるか？
• RQ4 RetGKの性能は、最先端のグラフカーネルと比較して、精度および計算効率の面で優れているか？
• RQ5 ウォーク長や特徴マップ次元数といったハイパーパrameterに、提案手法の感度はどの程度か？

主な発見

• RetGK_IおよびRetGK_IIは21のベンチマークデータセットにおいて最先端の分類精度を達成し、特にREDDIT-BINARYやPROTEINSのようなデータセットでは、すべてのベースラインを上回る性能を示した。
• REDDIT-BINARYデータセットでは、RetGK_IIが91.6%の精度を達成し、Weisfeiler-Lehmanカーネル（68.2%）およびPSCNカーネル（86.3%）を著しく上回った。
• REDDIT-BINARYでRetGK_II（MC）は6分9秒で実行され、Weisfeiler-Lehman部分木カーネルと比べてほぼ1桁の高速化を達成した。
• 感度分析の結果、S、D₀、D_cの異なる値に対しても一貫した精度を示し、幅広いハイパーパrameter設定においてロバストな性能を発揮した。
• 大規模なPROTEINSデータセットでは、RetGK_IIが49.9秒の総学習時間で75.2%の精度を達成し、DGK（75.7%）およびPSCN（75.0%）をはるかに少ない時間で上回った。
• 離散的および連続的属性を併せ持つデータセット（BZRおよびCOX2）では、RetGK_IIがそれぞれ87.1%および81.4%の精度を達成し、GIKおよびCSM手法を上回った。