[論文レビュー] On the Bottleneck of Graph Neural Networks and its Practical Implications

Uri Alon, Eran Yahav|arXiv (Cornell University)|Jun 9, 2020

Advanced Graph Neural Networks参考文献 42被引用数 90

ひとこと要約

この論文はGNNsの根本的なボトルネックを特定—長距離情報の過圧縮—を示し、ボトルネックを打破する（例えば完全隣接の last layer を用いる）ことで、追加のチューニングなしに多様な領域で大きな性能向上をもたらす。

ABSTRACT

Since the proposal of the graph neural network (GNN) by Gori et al. (2005) and Scarselli et al. (2008), one of the major problems in training GNNs was their struggle to propagate information between distant nodes in the graph. We propose a new explanation for this problem: GNNs are susceptible to a bottleneck when aggregating messages across a long path. This bottleneck causes the over-squashing of exponentially growing information into fixed-size vectors. As a result, GNNs fail to propagate messages originating from distant nodes and perform poorly when the prediction task depends on long-range interaction. In this paper, we highlight the inherent problem of over-squashing in GNNs: we demonstrate that the bottleneck hinders popular GNNs from fitting long-range signals in the training data; we further show that GNNs that absorb incoming edges equally, such as GCN and GIN, are more susceptible to over-squashing than GAT and GGNN; finally, we show that prior work, which extensively tuned GNN models of long-range problems, suffers from over-squashing, and that breaking the bottleneck improves their state-of-the-art results without any tuning or additional weights. Our code is available at https://github.com/tech-srl/bottleneck/ .

研究の動機と目的

• GNNにおける長距離情報伝播問題を動機づけ、形式化し、over-squashingボトルネックを導入する。
• 合成データと実世界のタスクにおいて、ボトルネックが長距離信号の適合を制限することを実証的に示す。
• ハイパーパラメータ調整なしで、ボトルネックを打破することが最先端結果の改善につながることを示す。

提案手法

• 長距離依存性を定量化するために、問題半径rと受容野N_v^Kを定義する。
• ノードの受容野内のノード数がKとともに指数的に増加することを示し、メッセージを集約する際に情報ボトルネックを引き起こす。
• 合成データ NeighborsMatch でGNNのバリアント（GCN, GIN, GAT, GGNN）を比較し、過剰圧縮への感受性の差を明らかにする。
• 最後の層を完全隣接（FA）層に変換してボトルネックを壊し、追加の重みなしで既存の調整済みモデルを再訓練する。
• QM9、NCI1、ENZYMES、VarMisuseのベンチマークにFAを適用して性能向上を定量化する。
• 問題半径rの関数として隠れ層サイズdの理論的下限を提供し、次元を増やすだけの修正の限界を示す。

実験結果

リサーチクエスチョン

• RQ1 GNNsにおける長距離情報を伝播させることを妨げるボトルネックは何か？
• RQ2 過剰圧縮は長距離信号を適合させる能力に対して異なるGNNアーキテクチャにどのような影響を与えるのか？
• RQ3 FA層のようなシンプルなアーキテクチャ改良で、追加の調整なしに多様な領域で大幅な性能向上を得られるか？
• RQ4 長距離パターンを適合させるために必要な隠れ次元の理論的下限は何か？
• RQ5 ボトルネック打破による経験的利得は、合成・実世界の長距離タスクで持続するか？

主な発見

Property	base	+FA
mu	2.64 b1 0.11	2.54 b1 0.09
alpha	4.67 b1 0.52	2.28 b1 0.04
HOMO	1.42 b1 0.01	1.26 b1 0.02
LUMO	1.50 b 0.09	1.34 b1 0.04
gap	2.27 b1 0.09	2.08 b1 0.05
R2	15.63 b1 1.40	12.61 b1 0.37
ZPVE	12.93 b1 1.81	5.03 b1 0.36
U0	5.88 b1 1.01	2.21 b1 0.12
U	18.71 b1 23.36	2.32 b1 0.18
H	5.62 b1 0.81	2.26 b1 0.19
G	5.38 b1 0.75	2.04 b1 0.24
Cv	3.53 b1 0.37	1.86 b1 0.03
Omega	1.05 b1 0.11	0.80 b1 0.04

• 過度の圧縮は、問題半径が大きくなるにつれてGNNが長距離信号を適合できなくなることを示す。r≥4で複数のアーキテクチャで訓練精度さえ低下する。
• GCNとGINは、ノード状態と結合する前に近傍を集約する方法のせいで、GATとGGNNより過剰圧縮に敏感である。
• 完全隣接（FA）最後層を導入すると、QM9の6種のGNNタイプで誤差が劇的に低減（平均約42%の削減）、ボトルネック効果が長距離到達の単なる拡大ではないことを示す。
• QM9でFAは追加の調整なしで性能を向上させる；FA層を持つモデルは複数の性質でベースモデルより substantial gainsを示す。
• 生物学的ベンチマーク（NCI1、ENZYMES）およびプログラム解析（VarMisuse）全体でFA層は一貫した性能向上を生み出し、標準的なGNNにおける広範なボトルネックを示唆する。
• 組合せ的・経験的分析は、データを完全に適合させるには問題半径に対して隠れサイズを指数的に増やす必要があることを示し、固定サイズ表現の本質的限界を強調する。