[論文レビュー] Spectral Graph Attention Network with Fast Eigen-approximation

Heng Chang, Yu Rong+5 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Graph Neural Networks参考文献 50被引用数 4

ひとこと要約

本稿では、スペクトルグラフウェーブレットに注意メカニズムを適用することで、低周波数および高周波数成分の両方を効率的にモデル化し、グローバルおよびローカル表現学習を向上させる、新しいグラフニューラルネットワークであるSpectral Graph Attention Network (SpGAT) を提案する。さらに、チェビシェフ多項式を用いた高速近似バージョンであるSpGAT-Chebyを導入し、大規模グラフにおいて計算コストを最大7.9倍まで削減しながら、キャチオンベンチマークで最先端の性能を達成した。

ABSTRACT

Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, Graph Attention Network (GAT) first employs a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges can only focus on the local information of graphs and greatly increases the computational costs. In this paper, we first introduce the attention mechanism in the spectral domain of graphs and present Spectral Graph Attention Network (SpGAT) that learns representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. Further, to reduce the computational cost of SpGAT brought by the eigen-decomposition, we propose a fast approximation variant SpGAT-Cheby. We thoroughly evaluate the performance of SpGAT and SpGAT-Cheby in semi-supervised node classification tasks and verify the effectiveness of the learned attentions in the spectral domain.

研究の動機と目的

• 空間ドメインにおけるアテンションの限界に対処する。これは、局所的近傍情報にのみ焦点を当てており、高い計算コストを伴う。
• グラフウェーブレットと周波数成分を用いてスペクトルドメインにアテンションメカニズムを拡張することで、グラフにおけるグローバル構造モデリングを可能にする。
• スペクトルGNNにおけるスペクトル分解の計算負担を、高速なチェビシェフ多項式近似によって軽減する。
• スペクトル成分におけるアテンション学習が、空間アテンションメカニズムよりも優れた性能とパラメータ効率をもたらすことを示す。

提案手法

• SpGATは、ラプラシアン行列の固有分解から導かれるグラフウェーブレットを用いて、グラフ信号を低周波数および高周波数成分に分解する。
• 局所的およびグローバルなグラフ構造の別々のモデリングを可能にするために、低周波数および高周波数成分にそれぞれ学習可能なアテンション重みを適用する。
• プーリング関数と活性化関数を用いて、注目されたスペクトル特徴を統合・変換し、最終的なノード表現を生成する。
• SpGAT-Chebyは、正確な固有値分解をチェビシェフ多項式近似に置き換えることで、スペクトルウェーブレット計算を高速化する。
• 近似は、チェビシェフ多項式が固有値の範囲上でスペクトル関数を効率的に近似できることを利用している。
• モデルは、交差エントロピー損失を用いた半教師ありノード分類設定で、エンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 空間ドメインにおけるアテンションと比較して、スペクトルドメインにアテンションを適用することで、グラフにおけるグローバル表現学習が向上するか？
• RQ2 スペクトルドメインで低周波数および高周波数成分を分離することで、性能およびパラメータ効率が向上するか？
• RQ3 チェビシェフ多項式近似により、スペクトルウェーブレット計算の計算コストを著しく削減できるか、性能を損なわないか？
• RQ4 効果的なグラフ表現学習のための最適な低周波数成分の割合は何か？

主な発見

• SpGATは、5つのキャチオンデータセットすべてで最先端の性能を達成し、GAT や GCN を含む14の優れたベースラインを上回った。
• PubMedデータセットでは、SpGAT-Chebyが正確な固有値分解と比較して、スペクトルウェーブレット計算を7.9倍高速化しながら92.1％の精度を達成した。
• 最適な低周波数成分の割合は、データセット全体でわずか5〜15％であった。これは、効果的な信号再構成に少数の成分で十分であることを示している。
• SpGAT-Chebyは、GATと比較して学習時間をほぼ半減させ、VanillaGCNと同等の効率性を達成した。これは、強力なスケーラビリティを示している。
• アブレーションスタディの結果、スペクトル成分におけるアテンションが性能を著しく向上させることを確認した。特に、低周波数成分を小さな固定割合で処理した場合に最も優れた結果が得られた。
• モデルの性能は、さまざまなデータセットに対して安定しており、SpGAT-ChebyはPubMedで92.8％、Coraで83.7％の最高精度を達成した。