[論文レビュー] Graph Kernel Attention Transformers

Krzysztof Choromański, Han Lin+2 more|arXiv (Cornell University)|Jul 16, 2021

Advanced Graph Neural Networks参考文献 42被引用数 4

ひとこと要約

本稿では、グラフカーネル、構造的バイアスを備えたアテンションメカニズム、およびランダムウォークに基づくカーネル分解による低ランクの暗黙的アテンションを統合した、新たなGNNアーキテクチャであるGraph Kernel Attention Transformers (GKATs)を提案する。GKATsはグラフサイズに対して線形の計算スケーリングを達成し、浅いアーキテクチャでも長距離依存関係を効率的にモデル化でき、モチーフ検出、ソーシャルネットワーク、バイオインフォマティクスタスクを含む多様なベンチマークでSOTA GNNを上回る性能を発揮する。

ABSTRACT

We introduce a new class of graph neural networks (GNNs), by combining several concepts that were so far studied independently - graph kernels, attention-based networks with structural priors and more recently, efficient Transformers architectures applying small memory footprint implicit attention methods via low rank decomposition techniques. The goal of the paper is twofold. Proposed by us Graph Kernel Attention Transformers (or GKATs) are much more expressive than SOTA GNNs as capable of modeling longer-range dependencies within a single layer. Consequently, they can use more shallow architecture design. Furthermore, GKAT attention layers scale linearly rather than quadratically in the number of nodes of the input graphs, even when those graphs are dense, requiring less compute than their regular graph attention counterparts. They achieve it by applying new classes of graph kernels admitting random feature map decomposition via random walks on graphs. As a byproduct of the introduced techniques, we obtain a new class of learnable graph sketches, called graphots, compactly encoding topological graph properties as well as nodes' features. We conducted exhaustive empirical comparison of our method with nine different GNN classes on tasks ranging from motif detection through social network classification to bioinformatics challenges, showing consistent gains coming from GKATs.

研究の動機と目的

• 既存のGNNが長距離依存関係を効率的にモデル化する点での限界に対処すること。
• 密なグラフにおける標準的なグラフアテンションメカニズムの二次的計算コストを低減すること。
• トポロジーおよび特徴情報の両方を符号的にエンコードできる、学習可能なコンactなグラフスケッチ手法を開発すること。
• グラフカーネル、アテンションメカニズム、効率的なTransformerアーキテクチャを統合した、一貫した表現力を持つフレームワークを構築すること。
• より優れたインダクティブバイアスと表現力により、浅いアーキテクチャでSOTAの性能を達成すること。

提案手法

• GKATsは、グラフ上のランダムウォークから導出された新しいクラスのグラフカーネルを採用し、効率的なランダム特徴マップ分解を可能にする。
• これらのカーネルはアテンションメカニズムに統合され、構造的依存関係のモデル化を強化する構造的インダクティブバイアスを形成する。
• アテンションメカニズムは低ランク分解を用いることで、密なグラフであってもノード数に対して線形の複雑度を達成する。
• トポロジーおよび特徴プロパティをコンactに符号化できる、新たな学習可能なグラフスケッチ技術「graphots」を導入する。
• アーキテクチャは、グラフカーネルのインダクティブバイアスとTransformerの表現力の両方を統合し、浅いが高表現力を持つモデルを実現する。
• 微分可能なアテンション重みとカーネルパラメータをサポートするエンドツーエンド学習が可能で、構造的および特徴的表現の共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 グラフカーネルベースのアテンションメカニズムは、グラフサイズに対して線形の複雑度を達成しながら、表現力を維持または向上させることができるか？
• RQ2 標準的なGNNと比較して、GKATsは1層でどの程度長距離依存関係を効果的にモデル化できるか？
• RQ3 ランダムウォークに基づくグラフカーネルとアテンションの統合は、多様なグラフ学習タスクにおける一般化性能をどの程度向上させるか？
• RQ4 提案されたgraphotsスケッチ手法は、コンパクトかつ学習可能な形でトポロジーおよび特徴情報を効果的に捉えることができるか？
• RQ5 GKATアーキテクチャは、バイオインフォマティクスおよびソーシャルネットワークタスクを含む多様なベンチマークで一貫してSOTA GNNを上回るか？

主な発見

• GKATsは、密なグラフであってもノード数に対して線形の計算複雑度を達成する。これは、標準的なGNNが二次的複雑度を示すのとは対照的である。
• モデルは、浅いアーキテクチャでも長距離依存関係のモデル化において優れた性能を示し、効果的な表現学習を可能にする。
• GKATsは、モチーフ検出、ソーシャルネットワーク分類、バイオインフォマティクスベンチマークを含む、多様なタスクで9種類の異なるGNNクラスを上回る。
• 導入されたgraphotsは、グラフ構造とノード特徴のコンパクトで学習可能なスケッチを提供し、表現の効率性を向上させる。
• 実証的評価により、すべての評価タスクで一貫した性能向上が確認され、提案されたアーキテクチャ統合の有効性が裏付けられた。
• 高い表現力の維持と同時に、メモリおよび計算要求の低減を実現しており、大規模なグラフ学習に適している。