[論文レビュー] Attention-based Graph Neural Network for Semi-supervised Learning

Kiran Koshy Thekumparampil, Chong Wang+2 more|arXiv (Cornell University)|Mar 10, 2018

Advanced Graph Neural Networks参考文献 42被引用数 250

ひとこと要約

この論文は、伝統的な伝搬を適応的な隣接ノードの注意機構で置換する注意ベースのグラフニューラルネットワーク AGNN を導入し、引用ネットワークで最先端の結果を達成しつつモデルの複雑さを削減します。

ABSTRACT

Recently popularized graph neural networks achieve the state-of-the-art accuracy on a number of standard benchmark datasets for graph-based semi-supervised learning, improving significantly over existing approaches. These architectures alternate between a propagation layer that aggregates the hidden states of the local neighborhood and a fully-connected layer. Perhaps surprisingly, we show that a linear model, that removes all the intermediate fully-connected layers, is still able to achieve a performance comparable to the state-of-the-art models. This significantly reduces the number of parameters, which is critical for semi-supervised learning where number of labeled examples are small. This in turn allows a room for designing more innovative propagation layers. Based on this insight, we propose a novel graph neural network that removes all the intermediate fully-connected layers, and replaces the propagation layers with attention mechanisms that respect the structure of the graph. The attention mechanism allows us to learn a dynamic and adaptive local summary of the neighborhood to achieve more accurate predictions. In a number of experiments on benchmark citation networks datasets, we demonstrate that our approach outperforms competing methods. By examining the attention weights among neighbors, we show that our model provides some interesting insights on how neighbors influence each other.

研究の動機と目的

• 限られたラベルしか持たないグラフの半教師あり学習を、グラフ構造と特徴量を用いて動機づける。
• 線形伝搬ベースライン（GLN）が GCN の性能に匹敵することを示し、伝搬層の重要性を強調する。
• 適応的な隣接ノードの注意機構を用いた AGNN を提案し、精度と解釈性を向上させる。
• 標準的な引用ネットワークデータセットにおいて、AGNN が最先端の手法と比較して優れた精度を達成することを示す。
• 学習された注意重みが隣接ノードの影響を反映する方法についての洞察を提供する。

提案手法

• グラフニューラルネットワークを分析し、伝搬層が主に性能を左右し、中間の非線形層は貢献が少ないことを特定する。
• Propagation から非線性を分離し、それが GCN の性能と一致するか近づくことを示すために、Graph Linear Network（GLN）を定義する。
• 層ごとに単一のスカラー・パラメータを持つ AGNN を導入し、注意重み付き伝搬を用いる: H^{(t+1)} = P^{(t)} H^{(t)}, where P^{(t)}_{ij} ∝ exp(β^{(t)} cos(H_i^{(t)}, H_j^{(t)})), and rows sum to one (softmax over neighbors).
• 初期埋め込み XW^{(0)} を ReLU で得たノード表現を計算し、その後 ell 伝搬層を適用し、最終的にソフトマックス分類子 Z = softmax(H^{(ℓ+1)} W^{(1)}) を得る。
• ラベル付きノードのクロスエントロピー損失で全ての重み（W^{(0)}, W^{(1)}, β^{(t)}）を訓練する。
• 複雑さの目安: O(ℓ d_h |E| + d_x d_h n) 。

実験結果

リサーチクエスチョン

• RQ1 グラフにおける半教師あり学習で、現在の GNN に対して単純化した線形伝搬モデルが競争力のある性能を発揮できるか。
• RQ2 注意ベースの伝搬層は、グラフ構造データにおいてより関連性の高い隣接ノードを特定して重視することにより精度を向上させるか。
• RQ3 提案された AGNN は、学習された注意重みによって隣接ノードの影響パターンを明らかにする解釈性を提供するか。
• RQ4 AGNN は、標準的な引用ネットワークのベンチマーク（CiteSeer, Cora, PubMed）において、GCN および他のベースラインと比較してどのように性能を発揮するか。

主な発見

Input	Method	CiteSeer	Cora	PubMed
Y_L, X_L	Single-layer Perceptron	57.2	—	—
Y_L, X_L	Multilayer Perceptron	64.0	—	—
Y_L, X	T-SVM [26]	64.0	57.5	62.2
Y_L, G	DeepWalk [35]	—	—	—
Y_L, G	node2vec [22]	—	74.9	75.3
Y_L, X, G	LP [50]	45.3	68.0	63.0
Y_L, X, G	ICA [30]	69.1	75.1	73.9
Y_L, X, G	ManiReg [5]	60.1	59.5	70.7
Y_L, X, G	SemiEmb [42]	59.6	59.0	71.1
Y_L, X, G	DCNN [3]	—	—	76.8
Y_L, X, G	Planetoid [46]	64.7	75.7	77.2
Y_L, X, G	MoNet [31]	—	78.8	—
Y_L, X, G	Graph-CNN [38]	—	—	—
Y_L, X, G	DynamicFilter [41]	—	79.0	—
Y_L, X, G	Bootstrap [11]	53.6	78.4	78.8
Y_L, X,G	GCN [27]	70.3	81.5	79.0
Y_L, X,G	GLN	70.9 ±0.05	81.2 ±0.05	78.9 ±0.05
Y_L, X,G	AGNN (this paper)	71.7 ±0.08	83.1 ±0.08	79.9 ±0.07

• GLN（線形伝搬）は、ベンチマークとなる引用ネットワークで最高の GCN に匹敵するかそれを上回る精度を達成する。
• AGNN は CiteSeer、Cora、PubMed の固定分割実験で最高の精度を達成し、標準的な誤差よりも改善を示す。
• ランダム分割やラベル付きデータが多い設定の下でも、AGNN は一貫して最先端のベースラインを上回る。
• 注意重みは、同じクラスの隣接ノードがより高い注意を受ける傾向があり、ある程度の解釈性を提供する。
• 深い伝搬（ℓ が最大4まで）は、モデルの複雑さ低減と深い非線形層の不在のおかげで、AGNN にとって実現可能で有益である。
• 注意機構は、対象ノードにとって最も関連性の高い隣接ノードに焦点を当て、GCN で誤分類されたノードを含む分類性能を向上させる。