[論文レビュー] Semi-Supervised Classification with Graph Convolutional Networks

Thomas Kipf, Max Welling|arXiv (Cornell University)|Sep 9, 2016

Advanced Graph Neural Networks参考文献 22被引用数 8,058

ひとこと要約

グラフ上で直接動作する拡張可能な Graph Convolutional Network (GCN) を半教師ありノード分類のために導入し、正規化された特徴伝搬層を用いて、引用ネットワークおよび知識グラフデータセットで高い性能を達成する。

ABSTRACT

We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.

研究の動機と目的

• ラベルが乏しいグラフ構造化の半教師あり学習を動機付ける。
• グラフ構造とノード特徴を直接利用するシンプルでスケーラブルなグラフベースのニューラルネットワーク層を提案する。
• 複数データセットで最先端ベースラインより精度と効率性の改善を示す。

提案手法

• 層ごとの伝搬規則 H^{(l+1)} = σ(Â H^{(l)} W^{(l)}) を自己ループと次数ベース正規化の再正規化トリック Â = âA で定義する。
• スペクトラルグラフ畳み込みの一階近似が実用的で効率的な GCN を生み出すことを示す（式 (7)）。
• ラベル付きノードのみを用いた二層の GCN を用い、ソフトマックスで半教師ありノード分類を行い、クロスエントロピー損失を最適化する（式 (10)）。
• トレーニングを安定かつ大規模グラフへスケールさせるために Â̂ = D̃^{−1/2} Ẫ D̃^{−1/2} を計算する。
• エッジ数の線形複雑さである GPU 加速 TensorFlow 実装を提供し、計算量を O(|E|F C) にする。
• 固定データセットで評価し、LP、ManiReg、SemiEmb、DeepWalk、ICA、Planetoid ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 シンプルな再正規化グラフ畳み込み層が、半教師ありノード分類のためにグラフ全体へ情報を効果的に伝搬できるか。
• RQ2 隣接性構造をニューラルネットワークに直接組み込むことは、グラフラプラシアン正則化および埋め込みベース手法より精度と効率を向上させるか。
• RQ3 伝搬設計（再正規化トリック）が、さまざまなデータセットでの性能とスケーラビリティに与える影響は。
• RQ4 知識グラフ由来データ（NELL）と引用ネットワークとで、GCN の性能はどのように異なるか。

主な発見

手法	Citeseer	Cora	Pubmed	NELL
GCN (this paper)	70.3	81.5	79.0	66.0
Planetoid*	64.7 (26s)	75.7 (13s)	77.2 (25s)	61.9 (185s)

• GCN は Citeseer（70.3%）、Cora（81.5%）、Pubmed（79.0%）、および NELL（66.0%）で複数のベースラインより高い精度を達成する。
• 再正規化トリックは、より高次の Chebyshev や一次モデルより効率と予測性能を向上させる。
• スパースな隣接行列を用いたフルバッチ学習は、エッジ数に対して線形の時間計算量を実現し、大規模グラフに適している。
• より深い変種（最大10層）を探索し、二層モデルがデータセット全体で強く機能する。
• ランダムグラフ上では、GPU および CPU 実装での学習時間がスケーラブルである。