[論文レビュー] The Multiscale Laplacian Graph Kernel

Risi Kondor, Horace Pan|arXiv (Cornell University)|Mar 20, 2016

Advanced Graph Neural Networks参考文献 23被引用数 78

ひとこと要約

本稿では、ネストされた部分グラフに特徴空間ラプラシアングラフカーネル（FLG）を再帰的に適用することで、複数スケールにわたる構造的類似性を捉える新しいグラフカーネル、マルチスケールラプラシアングラフカーネル（MLG）を提案する。MLGカーネルは、RKHS作用素のランダム化プロジェクションにより計算コストを抑えることで、ベンチマークグラフデータセットで最先端の性能を達成し、分類精度において既存のカーネルを上回っている。

ABSTRACT

Many real world graphs, such as the graphs of molecules, exhibit structure at multiple different scales, but most existing kernels between graphs are either purely local or purely global in character. In contrast, by building a hierarchy of nested subgraphs, the Multiscale Laplacian Graph kernels (MLG kernels) that we define in this paper can account for structure at a range of different scales. At the heart of the MLG construction is another new graph kernel, called the Feature Space Laplacian Graph kernel (FLG kernel), which has the property that it can lift a base kernel defined on the vertices of two graphs to a kernel between the graphs. The MLG kernel applies such FLG kernels to subgraphs recursively. To make the MLG kernel computationally feasible, we also introduce a randomized projection procedure, similar to the Nyström method, but for RKHS operators.

研究の動機と目的

• 実際のグラフ（例：分子構造）において、複数スケールにわたる構造的類似性を効果的に捉えるグラフカーネルの不足を解消すること。
• 頂点特徴とトポロジカル構造を置換不変の方法で統合するカーネルを開発すること。
• 階層的サブグラフに基本カーネルを再帰的に適用することで、マルチスケールグラフ比較に計算的に効率的な手法を設計すること。
• RKHS作用素のランダム化プロジェクション技術を導入することで、大規模グラフ学習におけるスペクトル的グラフ手法の実用的利用を可能にすること。

提案手法

• FLGカーネルは、グラフラプラシアンを用いて頂点特徴の基本カーネルをグラフレベルのカーネルに拡張することで定義され、特徴情報とトポロジカル情報の両方を統合的に利用可能になる。
• MLGカーネルは、ネストされたサブグラフの階層にわたりFLGカーネルを再帰的に適用し、複数スケールでの構造的関係を捉える。
• ラプラシアンのRKHS作用素を近似するためのランダム化プロジェクション手法が導入され、計算コストを削減しながらカーネルの性質を保持する。
• カーネルは構成上置換不変であるため、頂点ラベルおよび順序に依存しない。
• 頂点特徴を符号化するために基本カーネル（例：ワンホットラベル上のドット積）が使用され、ラプラシアンを介してスペクトル的グラフ特性と統合される。
• レベル数、半径サイズ、正則化パラメータ（η, γ）などのハイパーパrameterは、交差検証を用いて調整される。

実験結果

リサーチクエスチョン

• RQ1 分子のようなグラフにおいて、マルチスケールにわたり構造的類似性を効果的に捉えるグラフカーネルは可能か？
• RQ2 頂点特徴とトポロジカル構造を、置換不変かつ計算的に効率的な方法で統合的にモデル化できるか？
• RQ3 再帰的でマルチスケールのアプローチは、純粋に局所的またはグローバルなグラフカーネルを上回る性能を示せるか？
• RQ4 正則化およびカーネルパラメータ選択の影響は、MLGカーネルの性能にどのように現れるか？

主な発見

• MLGカーネルは、MUTAG、PTC、ENZYMES、PROTEINS、NCI109の6つのベンチマークデータセットのうち5つで最高の分類精度を達成した。
• NCI1データセットでは81.75%の精度を達成し、すべての非ワイスフェーラー・レーマンカーネルを上回り、同データセットで最高のパフォーマンスを示したカーネルと同等の性能を発揮した。
• MLG階層における最適なレベル数は、すべてのデータセットで一貫して2または3であった。これは、より深い階層構造が性能を顕著に向上させないことを示している。
• 最適な正則化パラメータηとγは一般的に0.01または0.1であり、構造的差異への感度を維持するには小さな値で十分であることが示された。
• 最大のデータセット（NCI109）における実行時間は90分未満であり、再帰構造を有しながらも計算上の実行可能性を示した。
• NCI1およびNCI109において、MLGカーネルはワイスフェーラー・レーマンカーネルを上回り、優れたマルチスケールモデリング能力を示した。