[論文レビュー] Direct Multi-hop Attention based Graph Neural Network

Guangtao Wang, Rex Ying+2 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks被引用数 22

ひとこと要約

DAGNは、注意スコアを経路全体に拡散させることで、自己注意を拡張し、多ホップの近隣コンテキストを捉える新しいグラフニューラルネットワークを提案する。これにより、各層で長距離依存関係を実現できる。引用ネットワークでは最大5.7%の相対誤差低減を達成し、知識グラフ補完ベンチマークでも最先端の結果を達成する。

ABSTRACT

Introducing self-attention mechanism in graph neural networks (GNNs) achieved state-of-the-art performance for graph representation learning. However, at every layer, attention is only computed between two connected nodes and depends solely on the representation of both nodes. This attention computation cannot account for the multi-hop neighbors which supply graph structure context information and have influence on the node representation learning as well. In this paper, we propose Direct Multi-hop Attention based Graph neural Network (DAGN) for graph representation learning, a principled way to incorporate multi-hop neighboring context into attention computation, enabling long-range interactions at every layer. To compute attention between nodes that are multiple hops away, DAGN diffuses the attention scores from neighboring nodes to non-neighboring nodes, thus increasing the receptive field for every message passing layer. Unlike previous methods, DAGN uses a diffusion prior on attention values, to efficiently account for all paths between the pair of nodes when computing multi-hop attention weights. This helps DAGN capture large-scale structural information in a single layer, and learn more informative attention distribution. Experimental results on standard semi-supervised node classification as well as the knowledge graph completion show that DAGN achieves state-of-the-art results: DAGN achieves up to 5.7% relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. DAGN also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion DAGN advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

研究の動機と目的

• 標準のGNNが直接の隣接ノードに限定して注意を向けてしまうという制限を解消し、多ホップの隣接ノードからの構造的コンテキストを欠落させないようにする。
• ノード間のすべての経路からの構造的情報を統合することで、GNNにおける長距離メッセージパッシングを可能にする。
• 明示的な経路列挙を伴わずに、多ホップ経路における注意を計算する微分可能で効率的なメカニズムを開発する。
• すべての経路を介した影響を集約する注意値の拡散事前分布を活用することで、ノード表現学習を向上させる。
• 半教師ありノード分類および知識グラフ補完タスクで最先端の性能を達成する。

提案手法

• 隣接ノードからの注意スコアを非隣接ノードへと拡散させる拡散メカニズムを導入し、直接のエッジを超えた受容 field を拡大する。
• ノードペア間のすべての可能な経路を介した影響を集約する注意重みの拡散事前分布を採用し、多ホップ依存関係をモデル化する。
• 学習可能な拡散行列を用いて注意スコアをグラフ全体に拡散させることで、多ホップ注意を計算し、明示的な経路列挙を回避する。
• 拡散された注意をGNNのメッセージパッシングフレームワークに統合し、各層が構造的コンテキストを伴った遠くのノードに注目できるようにする。
• ノード表現と拡散された注意を組み合わせる微分可能な注意メカニズムを用いて、強化されたノード埋め込みを生成する。
• 各層が洗練された長距離注意分布の恩恵を受ける多層GNNアーキテクチャにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 計算複雑性を増加させることなく、多ホップ構造的コンテキストをグラフ注意ネットワークに効果的に統合できるか？
• RQ2 ノードペア間のすべての経路を注意の対象にすることで、GNNにおけるノード表現学習がどのように向上するか？
• RQ3 提案された拡散ベースの注意メカニズムは、ノード分類および知識グラフ補完タスクにおいて、標準GNNおよび既存の多ホップ手法をどの程度上回るか？
• RQ4 この手法は、引用ネットワークや大規模知識グラフを含む多様なグラフタイプに一般化可能か？
• RQ5 注意拡散メカニズムは、ベースラインのGNNと比較して、より頑健で情報量の多いノード埋め込みを生成するか？

主な発見

• Cora、Citeseer、PubMedの引用ネットワークにおいて、DAGNは以前の最先端手法比で最大5.7%の相対誤差低減を達成した。
• 大規模なOpen Graph Benchmarkでは、比較されたすべての手法の中で最高のパフォーマンスを達成した。
• 知識グラフ補完タスクでは、WN18RRおよびFB15k-237の4つの評価指標すべてで、新たな最先端の結果を樹立した。
• 拡散された注意を用いることで、長距離依存関係を捉えることで、ノード分類精度が顕著に向上した。
• 拡散ベースの注意メカニズムにより、明示的な経路列挙を伴わずに構造的コンテキストを効果的にモデル化でき、効率性を維持した。
• この手法は、推論型およびインダクティブな学習設定を含む多様なグラフタイプに、良好に一般化した。