[論文レビュー] Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes

Jilin Hu, Jianbing Shen+2 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Graph Neural Networks参考文献 39被引用数 9

ひとこと要約

本稿では、無限に広い層を備えたグラフ畳み込みネットワーク（GCN）であるGPGCを提案する。このGPGCは数学的にガウス過程（GP）と同等であり、GP回帰を用いた半教師ありノード分類を可能にする。ReLU活性化関数を用いた場合のカーネル行列計算に対する反復的解析的表現を導出することで、GPGCは引用データセットおよび画像データセットにおいて最先端の性能を達成するとともに、高い訓練効率を維持する。他のSOTA手法やGCNと比較して、最小限の推論時間で優れた性能を発揮する。

ABSTRACT

Graph convolutional neural networks~(GCNs) have recently demonstrated promising results on graph-based semi-supervised classification, but little work has been done to explore their theoretical properties. Recently, several deep neural networks, e.g., fully connected and convolutional neural networks, with infinite hidden units have been proved to be equivalent to Gaussian processes~(GPs). To exploit both the powerful representational capacity of GCNs and the great expressive power of GPs, we investigate similar properties of infinitely wide GCNs. More specifically, we propose a GP regression model via GCNs~(GPGC) for graph-based semi-supervised learning. In the process, we formulate the kernel matrix computation of GPGC in an iterative analytical form. Finally, we derive a conditional distribution for the labels of unobserved nodes based on the graph structure, labels for the observed nodes, and the feature matrix of all the nodes. We conduct extensive experiments to evaluate the semi-supervised classification performance of GPGC and demonstrate that it outperforms other state-of-the-art methods by a clear margin on all the datasets while being efficient.

研究の動機と目的

• 無限幅極限におけるグラフ畳み込みネットワークの挙動を理論的に解明することで、理論的ギャップを埋める。
• グラフベースの半教師あり学習において、無限に広いGCNとガウス過程との正式な同等性を確立する。
• ReLU活性化関数を用いた場合のGCNにおけるカーネル行列計算の解析的取り扱い可能な表現を導出する。
• グラフ構造とラベル付きノードを活用して、未観測ノードのラベルを予測するGPベースの回帰フレームワークを開発する。
• 無限に広いGCNが有限幅の対応物や既存のSOTA手法を上回る正確性と効率性を示すことを実証する。

提案手法

• 特定の初期化のもとで、無限幅層を備えたGCNのGP事前分布を形式化し、GPと同等であることを示す。
• ReLU活性化関数を用いた場合のカーネル行列計算に対する反復的解析的表現を導出し、計算を効率化する。
• 半教師ありノード分類問題を、観測済みラベルとグラフ構造を含む多出力GP回帰問題として再定式化する。
• 観測済みラベルとノード特徴量を条件として、未観測ノードのラベルの事後平均と共分散をGPフレームワークを用いて計算する。
• 隣接行列のスパarsityを活用して、カーネル計算および予測計算における計算効率を確保する。
• GPGC-small（小規模グラフ用）およびGPGC-big（大規模グラフ用）の2つのバージョンを実装し、両者とも解析的カーネル計算を採用する。

実験結果

リサーチクエスチョン

• RQ1 無限に広い層を備えたグラフ畳み込みネットワークが、ガウス過程と同等であることを示せるか？
• RQ2 ReLU活性化関数を用いた無限に広いGCNにおけるカーネル行列の解析的表現は何か？
• RQ3 無限に広いGCNから導出されたGPベースのフレームワークは、既存手法と比較して半教師ありノード分類においてどの程度の性能を示すか？
• RQ4 GCNの隠れユニット数を増加させることで性能が向上するのか？また、無限幅極限は最適な設定を表すのか？
• RQ5 スパarsityと解析的カーネル計算を活用することで、本手法は最小限の訓練時間で高い正確性を達成できるか？

主な発見

• GPGC-bigは、すべてのベンチマークデータセットで最先端の性能を達成し、GCN、GAT、GGP、および他のSOTA手法を明確な差で上回る。
• Cora、Citeseer、Pubmedでは、それぞれ83.6%、72.1%、79.6%の正確性を達成し、GCNや他のベースラインを上回る。
• CoraとCiteseerでは2秒未塔で学習が完了し、Pubmedでは46.2秒で学習が完了する。これはGATやGGPが1000秒以上を要するのと比べて顕著に高速である。
• GCNの隠れユニット数を増加させると、性能は単調に向上し、すべてのデータセットで無限幅極限が最高の正確性を達成する。
• ラベル付きサンプルがたった200個の状況でも、GPGC-bigはMNISTで98.5%、SVHNで88.1%、CIFAR10で70.4%の正確性を達成し、標準的なGCNを上回る。
• 解析的カーネル計算により、効率的な訓練と推論が可能となり、理論的基盤を持つにもかかわらず、大規模グラフへの実用的応用が可能である。