[論文レビュー] AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models

Ke Sun, Zhanxing Zhu+1 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Graph Neural Networks参考文献 40被引用数 32

ひとこと要約

AdaGCN は AdaBoost 主導の、再帰様の深層グラフニューラルネットワークを導入し、層ごとに適応的な重み付けを用いて複数ホップ近傍から情報を集約し、疎テンソル計算を削減しつつ最先端の結果を達成する。

ABSTRACT

The design of deep graph models still remains to be investigated and the crucial part is how to explore and exploit the knowledge from different hops of neighbors in an efficient way. In this paper, we propose a novel RNN-like deep graph neural network architecture by incorporating AdaBoost into the computation of network; and the proposed graph convolutional network called AdaGCN~(Adaboosting Graph Convolutional Network) has the ability to efficiently extract knowledge from high-order neighbors of current nodes and then integrates knowledge from different hops of neighbors into the network in an Adaboost way. Different from other graph neural networks that directly stack many graph convolution layers, AdaGCN shares the same base neural network architecture among all ``layers'' and is recursively optimized, which is similar to an RNN. Besides, We also theoretically established the connection between AdaGCN and existing graph convolutional methods, presenting the benefits of our proposal. Finally, extensive experiments demonstrate the consistent state-of-the-art prediction performance on graphs across different label rates and the computational advantage of our approach AdaGCN~\footnote{Code is available at \url{https://github.com/datake/AdaGCN}.}

研究の動機と目的

• 浅い GCN を超える高階の近傍情報を効果的に活用する深いグラフモデルを動機づける。
• AdaGCN を提案する、層を跨いで AdaBoost し、多層の知識を統合する再帰様のアーキテクチャ。
• AdaGCN と既存の伝搬法（PPNP/APPNP）との理論的関係を示し、適応的な層化を正当化する。
• 計算上の利点とともに、データセットとラベル設定全般で最先端の予測性能を示す。

提案手法

• スタックされた非線形層を、A^l X 上で l-ホップ情報を捉える base classifier f_theta^(l) の連続に置き換える。
• 基底分類器を適応的に重み付け・結合するために AdaBoost (SAMME.R) フレームワークを用い、誤分類に基づいてノード重みを更新する。
• 各基底分類器は、事前計算された A^l X に対して非線形 f_theta（例：2層の MLP）を用い、疎伝播を密なデコードから分離して計算を効率化する。
• AdaGCN は A^l X を次第に計算する：A^l X = A · (A^{l-1} X)、予測は C(A,X) = argmax_k sum_l alpha^(l) f_theta^(l)(A^l X) で集約する。
• APPNP/PPNP への関連付け: AdaGCN は、固定の指数重みと共有パラメータではなく、適応的で層依存のパラメータを用いた EMA 風伝搬を一般化する。
• MixHop に対して、AdaGCN は適応的で非線形かつ層ごとに混合を行い、ブースティング理論による理論的保証を提供するブースティングベースの結合を提案する。

実験結果

リサーチクエスチョン

• RQ1 グラフホップに対する AdaBoost 型の反復は、従来の深い GCN を超えて多階層近傍からの情報統合を改善できるか？
• RQ2 伝搬と表現力の観点で、AdaGCN、APPNP/PPNP、MixHop の理論的関係は何か？
• RQ3 ラベルレートが異なる場合でも精度が優れていながら、密な疎テンソル乗算を避けて計算効率を維持できるか？
• RQ4 SAMME.R による層ごとの重み適応が、データセット全体で一般化性とロバスト性にどのような影響を与えるか？

主な発見

モデル	Citeseer	Cora-ML	PubMed	MS Academic	P値
V.GCN	73.51 ± 0.48	82.30 ± 0.34	77.65 ± 0.40	91.65 ± 0.09	1.8 × 10^{-15}
GCN	75.40 ± 0.30	83.41 ± 0.39	78.68 ± 0.38	92.10 ± 0.08	2.2 × 10^{-16}
N-GCN	74.25 ± 0.40	82.25 ± 0.30	77.43 ± 0.42	92.86 ± 0.11
GAT	75.39 ± 0.27	84.37 ± 0.24	77.76 ± 0.44	91.22 ± 0.07
JK	73.03 ± 0.47	82.69 ± 0.35	77.88 ± 0.38	91.71 ± 0.10
BT.FP	73.55 ± 0.57	80.84 ± 0.97	72.94 ± 1.00	91.61 ± 0.24
PPNP	75.83 ± 0.27	85.29 ± 0.25	OOM	OOM
APPNP	75.73 ± 0.30	85.09 ± 0.25	79.73 ± 0.31	93.27 ± 0.08
PPNP (ours)	75.53 ± 0.32	84.39 ± 0.28	OOM	OOM
APPNP (ours)	75.41 ± 0.35	84.28 ± 0.28	79.41 ± 0.34	92.98 ± 0.07
AdaGCN	76.68 ± 0.20	85.97 ± 0.20	79.95 ± 0.21	93.17 ± 0.07
P value	1.8 × 10^{-15}	2.2 × 10^{-16}	1.1 × 10^{-5}	2.1 × 10^{-9}

• AdaGCN は、CiteSeer、Cora、PubMed、MS Academic などの複数データセットで、強力なベースラインと比較して最先端の精度を達成する。
• 低ラベル領域でも AdaGCN は優位性を維持し、ラベル率が下がるほど APPNP より改善を示す。
• 疎テンソル計算を大幅に削減しつつ競争力のある、または優れた性能を示し、より大規模なデータセット（例：Reddit）でエポックあたりの訓練が速くなる。
• 本法は、異なるパラメータを持つ層ごとの分類器が AdaBoost によって重み付けされる、固定の EMA スキームではなく適応的な APPNP の形として解釈できる。
• AdaGCN は一般的な層あたりの近傍混合を表現でき、MixHop の精神と一致するが、ブースティングベースの結合と各層の非線形変換を備える。