[論文レビュー] Simple and Deep Graph Convolutional Networks

Ming Chen, Zhewei Wei+3 more|arXiv (Cornell University)|Jul 4, 2020

Advanced Graph Neural Networks被引用数 399

ひとこと要約

GCNII は初期残差と恒等写像を備えた標準的な GCN を拡張し、真に深いグラフネットワークを可能にするとともに過度の平滑化を緩和し、半教師ありおよび全教師ありタスクで最先端の結果を達成します。

ABSTRACT

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the {\em over-smoothing} problem. In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: {\em Initial residual} and {\em Identity mapping}. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi- and full-supervised tasks. Code is available at https://github.com/chennnM/GCNII .

研究の動機と目的

• 深い GCN の設計を、浅いモデルでの過平滑化にもかかわらず動機づける。
• 深い GCN を可能にするための二つの簡単な手法—初期残差と恒等写像—を提案する。
• 多層 GCNs および GCNII の表現力と収束性の理論的分析を提供する。
• 複数のデータセットと深さにわたる最先端手法と比較した GCNII の経験的利得を示す。

提案手法

• 入力層から各層へ初期残差接続を追加して GCNII を導入する。
• 層の重み行列に恒等写像項を加えて訓練性と表現力を改善する。
• 固定された正規化伝播行列 tilde{P} を用いて訓練し、層ごとの係数をパラメータとして学習する；各層に対し二つのハイパーパラメータ
   と  を導入する。
• 理論的には多層 GCN の定常状態と収束を分析し、標準の GCN では高次数ノードの収束が速く、GCNII が任意の係数を持つ K 次多項式フィルタを表現できることを示す（定理 2）。
• モデルを反復的収縮閾値処理および ResNet 風のアーキテクチャと関連づけて、初期化とスキップ接続を正当化する。

実験結果

リサーチクエスチョン

• RQ1 単純なアーキテクチャの変更を導入することで、過平滑化に陥らずに GCN を真に深くすることは可能か。
• RQ2 初期残差接続と恒等写像は、深さが増すにつれて入力特徴から情報を保持しつつ、GCN がより豊かな多項式フィルタを表現できるようにするか。
• RQ3 深い GCN の変種における定常性・収束性・ノード次数依存性には理論的な示唆があるか。
• RQ4 半教師ありおよび全教師ありのノード分類データセットと深さの変化に対して、GCNII は最先端モデルとどのように比較されるか。

主な発見

手法	Cora	Citeseer	Pubmed
GCN	81.5	71.1	79.0
GAT	83.1	70.8	78.5
APPNP	83.3	71.8	80.1
JKNet	81.1 (4)	69.8 (16)	78.1 (32)
JKNet(Drop)	83.3 (4)	72.6 (16)	79.2 (32)
Incep(Drop)	83.5 (64)	72.7 (4)	79.5 (4)
GCNII	85.5 ±0.5 (64)	73.4 ±0.6 (32)	80.2 ±0.4 (16)
GCNII*	85.3 ±0.2 (64)	73.2 ±0.8 (32)	80.3 ±0.4 (16)

• GCNII は半教師ありノード分類の Cora、Citeseer、Pubmed において最先端の結果を達成する（例: GCNII 85.5±0.5 on Cora、73.4±0.6 on Citeseer、80.2±0.4 on Pubmed）。
• GCNII*（派生モデル）は、わずかに異なるパラメータ設定で同等の性能を達成する。
• GCNII は深いネットワーク（最大 64 層）を可能にし、浅いベースラインや他の深層モデルに対して一貫した改善をもたらす；例として 64 層の GCNII は Cora で 85.5、Pubmed で 80.2 を達成する。
• 定理 2 を含む理論的結果は、K 層の GCN が定常ベクトルへ収束する傾向を示し、GCNII は任意の係数を持つ K 次多項式フィルタを表現できることを示して、元の GCN の表現力の限界を克服する。
• 元の GCN における定常収束速率はノード次数の影響を受け、高次数ノードは過平滑化が起こりやすい（予想1および 定理1 の議論）。
• 実証的な結果は、深い GCNII がデータセットと深さを問わず一貫してベースラインを上回り、深い領域で DropEdge および JKNet 変種を上回ることがあることを示している。