[論文レビュー] Multi-hop Attention Graph Neural Network

Guangtao Wang, Zhitao Ying+2 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks参考文献 40被引用数 35

ひとこと要約

MAGNAはGNNに拡散ベースの多段注意機構を導入し、大規模グラフ近傍にわたる文脈依存の注意を可能にし、ノード分類と知識グラフ補完で最先端の結果を達成します。

ABSTRACT

Self-attention mechanism in graph neural networks (GNNs) led to state-of-the-art performance on many graph representation learning tasks. Currently, at every layer, attention is computed between connected pairs of nodes and depends solely on the representation of the two nodes. However, such attention mechanism does not account for nodes that are not directly connected but provide important network context. Here we propose Multi-hop Attention Graph Neural Network (MAGNA), a principled way to incorporate multi-hop context information into every layer of attention computation. MAGNA diffuses the attention scores across the network, which increases the receptive field for every layer of the GNN. Unlike previous approaches, MAGNA uses a diffusion prior on attention values, to efficiently account for all paths between the pair of disconnected nodes. We demonstrate in theory and experiments that MAGNA captures large-scale structural information in every layer, and has a low-pass effect that eliminates noisy high-frequency information from graph data. Experimental results on node classification as well as the knowledge graph completion benchmarks show that MAGNA achieves state-of-the-art results: MAGNA achieves up to 5.7 percent relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. MAGNA also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion MAGNA advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

研究の動機と目的

• 直接隣接ノードを超える多段文脈情報を取り入れてGNNの注意機構を改善する動機づけ。
• 任意のノード対間の文脈依存注意を計算する拡散ベースの注意機構を提案する。
• パラメータ効率を維持しつつ大規模な構造情報処理を可能にする。
• 標準的なノード分類ベンチマークと知識グラフ補完データセットで最先端の性能を実証する。

提案手法

• GATのようにエッジレベルの注意を計算するが、その後パスごとの重みが減衰する拡散演算子を用いてすべてのパスにわたって注意スコアを拡散する。
• 拡散は1ホップ注意マトリクスの累乗を組み合わせた拡散マトリクスAを生み出し、安定な反復スキーム（Z^(K)収束）で近似される。
• レイヤノーマライゼーションと残差接続を伴うマルチヘッド注意拡散層を用いてMAGNAブロックを積み重ねる。
• MAGNAをパーソナライズドページランク(PPR)に関連づけ、拡散された注意がノード対間のPPR事前分布に対応することを示す。
• MAGNAがグラフの低周波フィルタとして大規模構造を強調し高周波ノイズを低減するスペクトル解析を提示。

実験結果

リサーチクエスチョン

• RQ1 注意拡散を介した多段文脈の組み込みはノード分類と知識グラフ補完でGNNの性能を向上させるか？
• RQ2 MAGNAはPPRとどのように関連し、グラフスペクトル特性にどのような影響を与えるか？
• RQ3 拡散、レイヤーノーマリゼーション、深層集約の経験的利点とアブレーション効果は何か？

主な発見

モデル	Cora	Citeseer	Pubmed
MAGNA	85.4 ± 0.6	73.7 ± 0.5	81.4 ± 0.2

• MAGNAはノード分類において従来の最先端より最大5.7%の相対誤差削減をCora, Citeseer, Pubmedで達成。
• MAGNAはOpen Graph Benchmark (ogbn-arxiv)と知識グラフ補完ベンチマーク (WN18RRと FB15k-237)で最先端の結果を得た。
• 3層・6ホップ幅のMAGNAは受容野が等しい条件で18層のGATを上回り、効率性が向上。
• アブレーション研究は拡散とレイヤーノーマリゼーションが重要で、拡散が多段文脈を可能にし、レイヤーノーマリゼーションが訓練を安定化。
• スペクトル解析はMAGNAが小さなラプラシアン固有値（大規模構造）を増幅し、より大きな固有値（ノイズ）を抑制することを示す。
• MAGNAはGATより多様な注意分布を学習し、重要なノードに対する焦点が向上している。