[論文レビュー] Graph Attention Retrospective

Kimon Fountoulakis, Amit Levi+3 more|arXiv (Cornell University)|Feb 26, 2022

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本稿は、ガウス混合特徴を伴う文脈付き確率的ブロックモデル（CSBM）におけるノード分類の文脈で、グラフアテンションネットワーク（GAT）の理論的分析を提供する。『簡単』な状態（クラス平均が明確に分離されている）では、GATは内部クラス内・クラス間エッジを区別でき、完全分類に至る。一方、平均の分離が小さい『難しい』状態では、すべてのアテンション機構が失敗し、GATはグラフ畳み込みと同様に一様な重みに劣化する。

ABSTRACT

Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular models is graph attention networks. They were introduced to allow a node to aggregate information from features of neighbor nodes in a non-uniform way, in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we theoretically study the behaviour of graph attention networks. We prove multiple results on the performance of the graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here, the node features are obtained from a mixture of Gaussians and the edges from a stochastic block model. We show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention is able to distinguish inter-class from intra-class edges. Thus it maintains the weights of important edges and significantly reduces the weights of unimportant edges. Consequently, we show that this implies perfect node classification. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. In addition, we show that graph attention convolution cannot (almost) perfectly classify the nodes even if intra-class edges could be separated from inter-class edges. Beyond perfect node classification, we provide a positive result on graph attention's robustness against structural noise in the graph. In particular, our robustness result implies that graph attention can be strictly better than both the simple graph convolution and the best linear classifier of node features. We evaluate our theoretical results on synthetic and real-world data.

研究の動機と目的

• グラフアテンション機構がノード分類タスクでいつ、なぜ成功または失敗するかを理論的に理解すること。
• ガウス分布のノード特徴を伴う文脈付き確率的ブロックモデル（CSBM）下でのGATの性能を分析すること。
• GATが内部クラス内エッジとクラス間エッジを区別できる条件を特定し、完全分類を可能にすること。
• 構造的ノイズに対するGATの耐性を調査し、グラフ畳み込みおよび線形分類器と比較すること。
• 低分離（難しい）状態におけるアテンション機構の理論的限界を確立し、エッジタイプの区別に普遍的に失敗することを示すこと。

提案手法

• 2クラスの文脈付き確率的ブロックモデル（CSBM）を理論的に分析し、ノード特徴はガウス混合から抽出され、エッジは確率的ブロックモデルに従う。
• アテンション機構は、クエリ、キー、バリューの投影を伴う2層MLPアーキテクチャでモデル化され、ソフトマックス正規化されたアテンションスコアが使用される。
• 集中不等式およびガウス尾部バウンドを用いて、平均分離度（κσ）の異なる状況下でのアテンション係数の挙動を分析する。
• 『簡単』な状態（大きなκσ）と『難しい』状態（小さなκσ）を区別し、前者ではアテンション係数が発散すること、後者では一様に収束することを証明する。
• 構造的ノイズを導入し、摂動下でのアテンション挙動を分析することで耐性を評価し、GATがGCNおよび線形分類器を上回ることを示す。
• 集中の測度およびチェルノフ型バウンドに依存する、アテンションスコアおよび分類精度の高確率バウンドを理論的に導出する。

実験結果

リサーチクエスチョン

• RQ1 CSBMにおいて、グラフアテンションネットワークはどのような条件下で内部クラス内エッジとクラス間エッジを区別できるか？
• RQ2 クラス平均が明確に分離されている『簡単』な状態では、グラフアテンションが完全なノード分類を達成できるか？
• RQ3 エッジ情報が完璧であっても、なぜアテンション機構は『難しい』状態で失敗するのか？
• RQ4 構造的ノイズ下で、グラフアテンションはグラフ畳み込みおよび線形分類器と比較してどのように性能を発揮するか？
• RQ5 ノード特徴の平均が近くても、理想的なエッジ情報が与えられた場合、GATは高い性能を維持できるか？

主な発見

• 『簡単』な状態（κ ≥ √(2 log n)）では、2層MLPアテンション機構を備えたGATは高確率で完全なノード分類を達成する。
• 『難しい』状態（κ = O(1)）では、すべてのアテンション機構が高確率で内部クラス内・クラス間エッジを区別できない。
• κ = ω(1)のとき、少なくとも1−o(1)のノードが正しく分類される。κ = O(1)のとき、少なくともΦ(κ)−o(1)のノードが正しく分類される。
• 難しい状態では、元のGATアーキテクチャはほぼ一様なアテンション重みを割り当て、標準的なグラフ畳み込みと同様に動作する。
• 平均分離が小さい場合（κ = O(1)）、たとえエッジ情報が完璧であっても、GATはほとんど完全なノード分類を達成できない。
• 構造的ノイズ下でも、GATはグラフ畳み込みおよびノード特徴の最良の線形分類器よりも厳密に耐性がある。