[論文レビュー] Exphormer: Sparse Transformers for Graphs

Hamed Shirzad, Ameya Velingker+3 more|arXiv (Cornell University)|Mar 10, 2023

Advanced Graph Neural Networks被引用数 7

ひとこと要約

Exphormer は、仮想グローバルノードと拡張グラフ（expander graphs）を用いたスパースアテンション機構を導入し、グラフサイズに対して線形の複雑さを達成することで、大規模なグラフ上でのスケーラブルで高精度なモデリングを実現した。複数のベンチマークで最先端の性能を達成しており、ogbn-arxiv では 72.44% の精度を記録した。また、169K ノードを含むグラフに対しても、メモリ制約によりフルアテンションモデルが失敗する状況でもスケーリング可能である。

ABSTRACT

Graph transformers have emerged as a promising architecture for a variety of graph learning and representation tasks. Despite their successes, though, it remains challenging to scale graph transformers to large graphs while maintaining accuracy competitive with message-passing networks. In this paper, we introduce Exphormer, a framework for building powerful and scalable graph transformers. Exphormer consists of a sparse attention mechanism based on two mechanisms: virtual global nodes and expander graphs, whose mathematical characteristics, such as spectral expansion, pseduorandomness, and sparsity, yield graph transformers with complexity only linear in the size of the graph, while allowing us to prove desirable theoretical properties of the resulting transformer models. We show that incorporating Exphormer into the recently-proposed GraphGPS framework produces models with competitive empirical results on a wide variety of graph datasets, including state-of-the-art results on three datasets. We also show that Exphormer can scale to datasets on larger graphs than shown in previous graph transformer architectures. Code can be found at \url{https://github.com/hamed1375/Exphormer}.

研究の動機と目的

• 標準のグラフトランスフォーマーが直面する二次的メモリおよび計算複雑さの問題に対処し、大規模グラフへのスケーラビリティを向上させること。
• BigBird や Performer のようなシーケンス最適化設計にとどまらない、スパースアテンション機構の性能と効率を向上させること。
• 表現力は維持しつつパラメータ数と学習時間を削減する理論的裏付けのあるスパースアテンション機構を開発すること。
• フルアテンションモデルがメモリ制約により実行不可能なため、大規模データセット（例：169K ノードを有する ogbn-arxiv）におけるグラフトランスフォーマーの学習を可能にすること。
• スパースアテンション機構を GraphGPS フレームワークに統合し、多様なグラフ学習タスクで競争力のある性能を達成すること。

提案手法

• すべての他のノードに接続する仮想グローバルノードを導入し、O(|V|) のエッジを追加することで、長距離のインダクティブバイアスを提供する。
• O(|V|) のエッジを持つスパースオーバーレイネットワークとしての拡張グラフ（expander graphs）を採用し、スぺクトラル拡張性と小さな直径を活用して効率的なメッセージスイーピングを実現する。
• 局所的近傍、仮想ノード、拡張グラフエッジを組み合わせてハイブリッドアテンション機構を構築し、スペクトル的にフル自己アテンションを近似する。
• 拡張グラフの数学的性質（擬似ランダム性、スペクトル近似など）を活用して、最小限のエッジでグローバル依存関係を捉えることを保証する。
• メッセージスイーピング GNN とさまざまな位置エンコーディングとをモジュラーに統合可能な GraphGPS フレームワーク内にアーキテクチャを実装する。
• 局所的近傍、仮想ノード、拡張グラフエッジに制限されたアテンションにより線形複雑さを実現し、O(|V|²) の複雑さを O(|V|) に削減する。

実験結果

リサーチクエスチョン

• RQ1 仮想ノードと拡張グラフに基づくスパースアテンション機構は、フルアテンションモデルと同等の性能を達成しつつ、より大規模なグラフにスケーリング可能か？
• RQ2 拡張グラフと仮想ノードの組み合わせは、既存のスパースアテンション機構よりもグラフ表現学習に優れたインダクティブバイアスを提供するか？
• RQ3 Exphormer は、フルアテンションモデルがメモリ制約により失敗する大規模グラフ（例：169K ノードを有する ogbn-arxiv）上で学習可能か？
• RQ4 局所的近傍、仮想ノード、拡張エッジといった個々の構成要素は性能にどのように寄与しており、どれを除去しても性能に影響がないか？
• RQ5 Exphormer は、フルアテンションモデルや他のスパーストランスフォーマーと比較して、標準的なグラフベンチマークで優れたもしくは同等の性能を示すか？

主な発見

• Exphormer は、169K ノードと 1.1M エッジを有する大規模な引用ネットワーク ogbn-arxiv で、72.44% の最先端の精度を達成した。フルアテンションモデルはこのデータセットでメモリ制約により失敗する。
• Amazon-Computer データセットでは、Exphormer は 90.74% の精度を達成し、最高の非トランスフォーマー手法と同等の性能を示し、他のスパーストランスフォーマーを上回った。
• Exphormer は、フルアテンション GraphGPS が 16 のみに対応するのに対し、MalNet-Tiny ではバッチサイズ 256 での学習が可能になった。これは、メモリ使用量の削減によるものである。
• 仮想ノードと拡張エッジの両方を有するモデルは、ogbn-arxiv で 72.44% の精度を達成し、仮想ノードのみのバージョン（72.22%）を上回り、MPNN ベースラインとは顕著に優れた性能を示した。
• Exphormer は、Coauthor CS のような 35K ノードのグラフまでスケーリング可能であり、標準的な GraphGPS が OOM 問題により失敗する状況でも動作可能である。
• アブレーションスタディの結果、局所的近傍は一貫して性能向上に寄与するが、仮想ノードと拡張エッジの相対的寄与度はデータセットによって異なる。両者の組み合わせが最も有益であることが示された。