[論文レビュー] Wasserstein Weisfeiler-Lehman Graph Kernels

Matteo Togninalli, Elisabetta Ghisu+3 more|arXiv (Cornell University)|Jun 4, 2019

Graph Theory and Algorithms参考文献 43被引用数 62

ひとこと要約

WWLは Weisfeiler–Lehman の埋め込みと Wasserstein 距離を組み合わせ、ノード特徴量の分布によってグラフを比較します。連続属性で高い性能を発揮し、カテゴリカルラベルでは競争力のある結果を示します。

ABSTRACT

Most graph kernels are an instance of the class of $\mathcal{R}$-Convolution kernels, which measure the similarity of objects by comparing their substructures. Despite their empirical success, most graph kernels use a naive aggregation of the final set of substructures, usually a sum or average, thereby potentially discarding valuable information about the distribution of individual components. Furthermore, only a limited instance of these approaches can be extended to continuously attributed graphs. We propose a novel method that relies on the Wasserstein distance between the node feature vector distributions of two graphs, which allows to find subtler differences in data sets by considering graphs as high-dimensional objects, rather than simple means. We further propose a Weisfeiler-Lehman inspired embedding scheme for graphs with continuous node attributes and weighted edges, enhance it with the computed Wasserstein distance, and thus improve the state-of-the-art prediction performance on several graph classification tasks.

研究の動機と目的

• 単純な和や平均ではなく、サブ構造の分布をよりよく捉えるグラフカーネルを動機づける。
• ノード特徴集合間のグラフ Wasserstein 距離（GWD）を導入する。
• 連続属性と重み付きエッジを扱う WL にインスパイアされた埋め込み方式を開発する。
• GWDをラプラシアン風の WWL カーネルと結合してグラフ分類を改善する。
• カテゴリカルラベルと連続属性の両方を持つベンチマークでWWLを評価する。

提案手法

• 各グラフに対してノード埋め込みを出力するグラフ埋め込みスキーム f を定義する。
• グラフ Wasserstein 距離 D^f_W(G,G') を W1(f(G),f(G'))として定義する。
• エッジの重みを考慮した平均化伝播ステップを介して、連続属性に対して WL を拡張する。
• WWL カーネル K_WWL = exp(-λ D^f_W) をラプラシアン風のカーネルとして構築する。
• カテゴリカル WWL（正定値）と連続 WWL（理論上半正定値ではないが Kreĭn-SVM で対処）を区別する。
• 大規模グラフで Wasserstein 計算を高速化するために Sinkhorn 正則化を任意で使用する。

実験結果

リサーチクエスチョン

• RQ1 ノード埋め込み分布間の Wasserstein 距離は、従来のサブ構造の集約よりも細部のグラフ類似性を捉えられるか。
• RQ2 WL 風の埋め込みを、連続的属性と重み付きエッジを持つグラフにどのように拡張できるか。
• RQ3 連続属性を持つノードのグラフで WWL がグラフ分類を改善しつつ、カテゴリカルラベルデータセットでも競争力を保てるか。

主な発見

• WWLはカテゴリカルにラベル付けされたグラフで最先端と同等の性能を示す（WL-OAと同等）。
• WWLは複数のデータセットで連続ノード属性を持つグラフに対して基準法を大幅に上回る。
• カテゴリカル WWL カーネルはすべての λ>0 に対して正定値であることが証明されている。
• WWLは複数のデータセットにおける連続属性実験で平均順位トップを達成。
• RBF-WL ベースラインや他のグラフカーネルは、いくつかの連続属性タスクでWWLにより上回られている。
• WWLはノード特徴の全分布を比較する最適輸送を用いることで、単なる集計より有益である。