[論文レビュー] SPAGAN: Shortest Path Graph Attention Network

Yiding Yang, Xinchao Wang+3 more|arXiv (Cornell University)|Jan 10, 2021

Advanced Graph Neural Networks参考文献 24被引用数 11

ひとこと要約

SPAGANは、従来のノードベースのアテンションに代わり、最短経路を用いて1層でグローバルなグラフトポロジーを捉えるパスベースのアテンションを導入する新しいグラフアテンションネットワークを提案する。中心ノードから高次の隣接ノードへの最短経路を計算し、それらの経路に対して学習可能なアテンションを適用することで、SPAGANは特徴の集約性と収束安定性を向上させ、ノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Graph convolutional networks (GCN) have recently demonstrated their potential in analyzing non-grid structure data that can be represented as graphs. The core idea is to encode the local topology of a graph, via convolutions, into the feature of a center node. In this paper, we propose a novel GCN model, which we term as Shortest Path Graph Attention Network (SPAGAN). Unlike conventional GCN models that carry out node-based attentions within each layer, the proposed SPAGAN conducts path-based attention that explicitly accounts for the influence of a sequence of nodes yielding the minimum cost, or shortest path, between the center node and its higher-order neighbors. SPAGAN therefore allows for a more informative and intact exploration of the graph structure and further {a} more effective aggregation of information from distant neighbors into the center node, as compared to node-based GCN methods. We test SPAGAN on the downstream classification task on several standard datasets, and achieve performances superior to the state of the art. Code is publicly available at https://github.com/ihollywhy/SPAGAN.

研究の動機と目的

• 従来のGCNやGATが、遠く離れたノードに到達するために層を積み重ねる必要があるという制限に対処すること。これは、性能の低下や収束の問題を引き起こすことがある。
• 最短経路を活用することで、1層で高次の隣接ノードからの効果的かつ安定した情報集約を可能にすること。
• 逐次的な近隣ノード伝搬に依存するのではなく、ノード間の最小コスト経路を明示的に探索することで、グローバルなグラフ構造をより強固にモデル化すること。
• パスベースのアテンションにより、より情報を含む構造的文脈を捉えることで、ベンチマークグラフデータセットにおけるノード分類の正確性を向上させること。

提案手法

• SPAGANは、Dijkstraのアルゴリズムを用いて、中心ノードから高次の隣接ノードへのすべての最短経路を計算し、パス行列𝒫を構築する。
• 𝒫に含まれる各パスから特徴を抽出し、パス特徴とノード表現に基づいてアテンション係数を計算するパスからノードへのアテンションメカニズムを適用する。
• 微分可能でパスアテンション層を用いて、ノード埋め込みとパスアテンション係数を反復的に更新することで、エンドツーエンドの学習を可能にする。
• 異なる長さのパスに対する学習可能なアテンション重みを許容する階層的パスアテンションメカニズムを導入し、特徴集約を強化する。
• スパーステンソル演算を用いて、パスの拡張にもかかわらず低メモリオーバーヘッドを維持しながら、GPU上で効率的にパスアテンションを計算する。
• 更新されたアテンション係数に基づき、各イテレーションでパス行列を再生成しながら、交差エントロピー損失を最小化することで、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 最短経路に基づくパスアテンションは、GCNにおける従来のノードベースアテンションに比べ、ノード表現学習を向上させることができるか？
• RQ2 最短経路に基づくパスを用いた1層のグラフネットワークは、ノード分類タスクにおいて、深層スタック型GCNモデルを上回る性能を達成できるか？
• RQ3 異なる長さのパスに対する階層的アテンションメカニズムは、モデルの性能と一般化能力にどのように影響を与えるか？
• RQ4 キーハイパーパrameter（パスサンプリングレート、最大パス深さ、イテレーション数）が、モデルの収束と正確性に与える影響は何か？

主な発見

• SPAGANはノード分類で最先端の性能を達成し、Coraでは83.6%の正確度を達成。GAT（83.0%）とSPAGAN_Fix（83.2%）を上回る。
• Citeseerでは73.0%の正確度を達成し、GAT（72.5%）とSPAGAN_Fix（72.4%）を上回る。
• PubMedでは79.6%の正確度を達成し、GAT（79.0%）とSPAGAN_Fix（79.2%）を上回る。
• アブレーションスタディの結果、階層的パスアテンションメカニズムが顕著に性能を向上させていることが確認され、SPAGANは全データセットでSPAGAN_Fixを上回る。
• 感度分析の結果、1.0のサンプリングレート（各ノードのすべてのパスを使用）が最良の性能をもたらし、2回のイテレーションで十分な収束が達成される。
• モデルは低メモリオーバーヘッドを維持しており、PubMEdではたった約200MBの追加GPUメモリで運用可能であり、大規模なスパースグラフにおいて実用的である。