[論文レビュー] N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification

Sami Abu-El-Haija, Amol Kapoor+2 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Graph Neural Networks参考文献 19被引用数 78

ひとこと要約

N-GCN は正規化隣接行列の異なるべき乗で複数の GCN を訓練し、それらの出力を結合して joint classifier を学習することで半教師ありノード分類を改善する。いくつかのベンチマークで最先端の結果を達成し、N-SAGE バリアントにも拡張する。

ABSTRACT

Graph Convolutional Networks (GCNs) have shown significant improvements in semi-supervised learning on graph-structured data. Concurrently, unsupervised learning of graph embeddings has benefited from the information contained in random walks. In this paper, we propose a model: Network of GCNs (N-GCN), which marries these two lines of work. At its core, N-GCN trains multiple instances of GCNs over node pairs discovered at different distances in random walks, and learns a combination of the instance outputs which optimizes the classification objective. Our experiments show that our proposed N-GCN model improves state-of-the-art baselines on all of the challenging node classification tasks we consider: Cora, Citeseer, Pubmed, and PPI. In addition, our proposed method has other desirable properties, including generalization to recently proposed semi-supervised learning methods such as GraphSAGE, allowing us to propose N-SAGE, and resilience to adversarial input perturbations.

研究の動機と目的

• GCN と乱歩動基づく多尺度グラフ情報を半教師付きノード分類のために組み合わせる動機付け。
• 正規化隣接行列の複数のべき乗を処理する N-GCN ネットワークを開発する。
• すべてのGCNモジュールと分類器を共同で訓練し、有用な多尺度表現を選択する。
• 標準データセットで最先端の性能を実証し、摂動に対する頑健性を分析する。

提案手法

• 正規化隣接行列 Â A の異なるべき乗をそれぞれ入力として受けるK個のGCNを作成する（Â A^0 = I を含む）。
• K個のGCNの出力を結合し、全結合分類器（N-GCN_fc）に入力する。
• あるいは、GCNの出力に対してソフトアテンションによる組み合わせを学習し、スケールを適応的に重み付けする（N-GCN_a）。
• ラベル付きノード上で交差エントロピー損失を用いてエンドツーエンド訓練し、中間監督を適用して各GCNが有用になるよう促すこともできる。
• Network-of-Graph-Models フレームワークを介して他のグラフモデル（例: GraphSAGE）へ一般化する。
• 標準的なグラフベンチマーク（Cora, Citeseer, PubMed, PPI）で評価し、ベースライン（GCN, SAGE, DCNN など）と比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる乱数ウォークステップからの多尺度情報を明示的に活用することで、 vanilla GCN を超える半教師付きノード分類の改善が得られるか。
• RQ2 隣接行列のべき乗で動作する GCNs のネットワークは、遠方情報と局所情報を効果的に組み合わせることを学習できるか。
• RQ3 提案手法 N-GCN は入力の摂動と特徴ノイズに対して堅牢か。
• RQ4 N-GCN はベースライン手法（例: DCNN、GraphSAGE）と比較してベンチマークデータセット上でどうなのか。
• RQ5 このアプローチは GCN 以外の他のグラフモデル（例: SAGE）へ generalize できるか。

主な発見

Method	Citeseer	Cora	PubMed	PPI
DCNN (our implementation)	71.1	81.3	79.3	44.0
GCN (our implementation)	71.2	81.0	78.8	46.2
SAGE (our implementation)	63.5	77.4	77.6	59.8
N-GCN (our)	72.2	83.0	79.5	46.8
N-SAGE (our)	71.0	81.8	79.4	65.0

• N-GCN は Cora、Citeseer、PubMed、PPI データセットで最先端の精度を、強力なベースラインと比較して達成している。
• マルチスケール GCN（K>1）の使用は、単一スケール GCN よりも性能を向上させ、K を増やすほど大きな利得が得られる。
• アテンションベースおよび FC-分類器系統（N-GCN_a、N-GCN_fc）もベースラインを上回り、多尺度フュージョンの有効性を示す。
• 特徴量の摂動下で、N-GCN および関連する多尺度モデルは vanilla GCN および SAGE を上回り、欠損特徴に対する頑健性を示す。
• より深い単一路線の GCN/SAGE は一貫して精度を向上させないのに対し、N-GCN は多尺度・浅い構成から利益を得る。