[論文レビュー] Convolutional Kernel Networks for Graph-Structured Data

Dexiong Chen, Laurent Jacob+1 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Graph Neural Networks参考文献 32被引用数 19

ひとこと要約

本稿では、多層のパスに基づくカーネル特徴マップを通じてグラフ構造データをモデル化することにより、グラフカーネル手法とグラフニューラルネットワーク（GNN）を統合する新規フレームワークであるグラフ畳み込みカーネルネットワーク（GCKN）を紹介する。ネストルム法を活用した効率的なカーネル近似により、GCKNはグラフ分類ベンチマークで競争力のある性能を達成するとともに、教師なし表現学習とエンドツーエンド学習を可能にし、モチーフ同定による強い解釈可能性を提供する。

ABSTRACT

We introduce a family of multilayer graph kernels and establish new links between graph convolutional neural networks and kernel methods. Our approach generalizes convolutional kernel networks to graph-structured data, by representing graphs as a sequence of kernel feature maps, where each node carries information about local graph substructures. On the one hand, the kernel point of view offers an unsupervised, expressive, and easy-to-regularize data representation, which is useful when limited samples are available. On the other hand, our model can also be trained end-to-end on large-scale data, leading to new types of graph convolutional neural networks. We show that our method achieves competitive performance on several graph classification benchmarks, while offering simple model interpretation. Our code is freely available at https://github.com/claying/GCKN.

研究の動機と目的

• グラフカーネル手法とグラフニューラルネットワークの間のギャップを埋めるために、グラフ構造データのための多層カーネルフレームワークを導入すること。
• パスに基づくカーネル特徴マップを用いて、教師なしで表現力があり正則化可能なグラフ表現を可能にすること。
• 十分なラベル付きデータが利用可能な場合、モデルをエンドツーエンド学習可能なGNNとして訓練できること。
• 隣接領域の集約にウォークではなくパスを使用することで、Weisfeiler-Lehmanカーネルを上回る表現力を実現すること。
• 予測に寄与するサブグラフパターンを同定することで、モチーフに基づく解釈可能なモデル解釈を提供すること。

提案手法

• モデルは、長さが増加するパスに基づくカーネル特徴マップの系列を通じて、各ノードの局所的構造を表現し、サブグラフパターンを捉える。
• 各層におけるカーネル特徴マップの近似にネストルム法を用いることで、スケーラブルな計算を実現する。
• 最終的なグラフ表現は、グラフ内すべてのノードにおける最終層のノード表現をプーリングすることで得られる。
• フレームワークは、教師なしのカーネルスタイル学習と、可学習フィルタを備えたエンドツーエンド学習としてのGNN訓練の両方をサポートする。
• 画像・系列の受容 field をパスに基づく受容 field に置き換えることで、畳み込みカーネルネットワーク（CKN）をグラフに一般化する。
• パスの属性を比較するためのガウスカーネルを採用することで、パス間でソフトで微分可能な類似度計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ用の多層カーネルフレームワークは、グラフカーネルとGNNの両者と同等の性能を達成できるか？
• RQ2 集約プロセスにおいてウォークの代わりにパスを使用することで、WLベースの手法よりも表現力の高い表現が得られるか？
• RQ3 十分なラベル付きデータがある場合、モデルは解釈可能性を保ちつつエンドツーエンド学習として効果的に訓練可能か？
• RQ4 カテゴリカル属性と連続的属性を有するデータセットにおいて、モデルの性能はどのように変化するか？
• RQ5 モデルは、たとえばミュタゲニック機能的基団のような、化学的に意味のあるサブ構造をグラフ分類タスクで同定できるか？

主な発見

• GCKN-pathはENZYMESデータセットでSOTA性能を達成し、テスト精度75.7% ± 1.1を記録し、RBF-WLとHGK-WLを上回った。
• COX2データセットでは、GCKN-3layers-unsupが82.0% ± 0.6の精度を達成し、GCKN-subtree-supを除くすべてのモデルを上回った。
• BZRではGCKN-subtree-supが86.4% ± 0.5の精度を記録し、GNTKモデルでさえも上回り、連続的属性を持つグラフにおける教師ありフィルタ学習の利点を示した。
• モデルは、ミュタゲニシティデータセットで知られたミュタゲニックなサブ構造、例えば多環式芳香族炭化水素やNO₂基を効果的に同定した。
• GCKN-subtree-unsupはCOX2で81.8% ± 0.8の精度を達成し、微調整なしで優れた性能を示した。
• 多層GCKNバリアントは、GCKN-pathよりも計算複雑度が低く抑えられ、特にパスがすでに予測に寄与するデータセットでは、競争力のある精度を維持した。