[論文レビュー] Pre-training Graph Neural Networks with Kernels

Nicolò Navarin, Tran Van Dinh+1 more|arXiv (Cornell University)|Nov 16, 2018

Advanced Graph Neural Networks参考文献 25被引用数 18

ひとこと要約

本論文は、グラフカーネル（例：Weisfeiler-Lehman (WL) カーネル）と整合する表現を学習するためのシアンズネットワークを用いた、タスクに依存しないGNNの事前学習手法を提案する。この手法は、カーネル誘導表現学習を通じてGNNの性能を向上させ、MUTAGでは3.27%、PTCでは2.69%の精度向上を達成し、複数のグラフベンチマークデータセットで一貫した向上を示した。

ABSTRACT

Many machine learning techniques have been proposed in the last few years to process data represented in graph-structured form. Graphs can be used to model several scenarios, from molecules and materials to RNA secondary structures. Several kernel functions have been defined on graphs that coupled with kernelized learning algorithms, have shown state-of-the-art performances on many tasks. Recently, several definitions of Neural Networks for Graph (GNNs) have been proposed, but their accuracy is not yet satisfying. In this paper, we propose a task-independent pre-training methodology that allows a GNN to learn the representation induced by state-of-the-art graph kernels. Then, the supervised learning phase will fine-tune this representation for the task at hand. The proposed technique is agnostic on the adopted GNN architecture and kernel function, and shows consistent improvements in the predictive performance of GNNs in our preliminary experimental results.

研究の動機と目的

• グラフカーネル手法の進展にもかかわらず、GNNのグラフ分類における性能が限定的であるという問題に取り組む。
• 確立されたグラフカーネルの誘導バイアスを活用する事前学習手法を開発し、GNNの一般化性能を向上させること。
• 事前学習段階でラベルなしグラフデータからカーネル誘導表現を学習することで、その後のラベル付きデータでの微調整段階でGNNが恩恵を受ける仕組みを提供すること。
• 任意のGNNとグラフカーネルに適用可能な、カーネルに依存せず、アーキテクチャに依存しない事前学習フレームワークを構築すること。

提案手法

• 固定されたグラフカーネル（例：WL, PK, RW）をターゲットとして、グラフペア間のカーネル類似度を予測するようにシアンズGNNアーキテクチャを学習する。
• 予測値と真値の差を最小化するため、事前学習段階で平均二乗誤差損失を用いる。
• 下流の分類タスクでの微調整の前に、学習済みのシアンズネットワーク重みでGNNを初期化する。
• 2段階のトレーニングパイプラインを採用：ラベルなしグラフでの非教師あり事前学習 → ラベル付きデータでの教師あり微調整。
• 1次元畳み込みと全結合層にはReLU活性化関数、グラフ畳み込みにはtanhを用いるDGCNNをベースGNNアーキテクチャとして採用する。
• 事前学習にはAdam最適化手法と平均二乗誤差損失、微調整には負の対数尤度損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフカーネルを近似するようにシアンズネットワークでGNNを事前学習させることで、下流の分類性能が向上するか？
• RQ2 カーネル誘導表現学習は、異なるGNNアーキテクチャやグラフデータセットに一般化可能か？
• RQ3 最適でないカーネル（例：PTCでのh=2のWL）を用いた事前学習は、ランダム初期化と比較してGNN性能にどのように影響するか？
• RQ4 大規模データセット（例：NCI1）において、カーネル誘導事前学習によってグラフカーネルとGNNの性能格差を埋めることができるか？

主な発見

• 事前学習済みDGCNNはMUTAGで88.10% ± 1.05の精度を達成し、標準DGCNN（85.83% ± 1.66）を2.27ポイント上回った。
• PTCでは、事前学習モデルが61.03% ± 2.86の精度を示し、DGCNNの58.59%を2.44ポイント上回った。
• NCI1では、事前学習済みDGCNNが77.13% ± 0.45の精度を達成し、DGCNNの74.44%を上回ったが、WLカーネルの84.46%にはまだ届かない結果となった。
• 事前学習に使用したカーネル（h=2のWL）が最良の性能を示さない場合（例：PTCにおけるPK）でも、ランダム初期化より性能が向上した。
• 限定的なエポック数（NCI1では2エポック）でも事前学習フェーズが有効であったため、トレーニング期間制約に対して頑健であることが示唆された。
• 1つのカーネルでの事前学習が有益であることが結果から示されたが、複数のカーネルを用いることで、カーネル単体の性能にさらに近づく可能性がある。