[論文レビュー] On the Bottleneck of Graph Neural Networks and its Practical Implications

Uri Alon, Eran Yahav|arXiv (Cornell University)|Jun 9, 2020

Advanced Graph Neural Networks被引用数 148

ひとこと要約

この論文はGNNにおける過度のスクワッシュ（over-squashing）ボトルネックを導入し、グラフ半径が大きくなるにつれて長距離情報を効果的に伝播できなくなることを示し、完全に隣接層（FA）でボトルネックを破ると、追加のチューニングなしで複数ドメインにわたり性能が大幅に向上することを実証します

ABSTRACT

Since the proposal of the graph neural network (GNN) by Gori et al. (2005) and Scarselli et al. (2008), one of the major problems in training GNNs was their struggle to propagate information between distant nodes in the graph. We propose a new explanation for this problem: GNNs are susceptible to a bottleneck when aggregating messages across a long path. This bottleneck causes the over-squashing of exponentially growing information into fixed-size vectors. As a result, GNNs fail to propagate messages originating from distant nodes and perform poorly when the prediction task depends on long-range interaction. In this paper, we highlight the inherent problem of over-squashing in GNNs: we demonstrate that the bottleneck hinders popular GNNs from fitting long-range signals in the training data; we further show that GNNs that absorb incoming edges equally, such as GCN and GIN, are more susceptible to over-squashing than GAT and GGNN; finally, we show that prior work, which extensively tuned GNN models of long-range problems, suffers from over-squashing, and that breaking the bottleneck improves their state-of-the-art results without any tuning or additional weights. Our code is available at https://github.com/tech-srl/bottleneck/ .

研究の動機と目的

• 長距離情報が要求される場合におけるグラフニューラルネットワークの過度スクワッシュボトルネックを動機付け、形式化する。
• GCN/GIN 対 GGNN/GAT の中で、どのアーキテクチャが過度スクワッシュに対してより影響を受けやすいかを特徴づける。
• FA（完全隣接層）によってボトルネックを破壊し、ベンチマーク全体で実用的な影響を評価する。
• 問題の半径に対する隠れ層サイズの理論的下限を提供し、経験的に検証する。

提案手法

• 情報伝播を分析するための問題の半径 r と受容野 N_v^K を定義する。
• NeghborsMatch を制御された合成ベンチマークとして導入し、過度スクワッシュと訓練精度への影響を定量化する。
• NeighborsMatch でのGCN、GIN、GGNN、GAT によるボトルネックを実験的に示し、なぜ一部の集約器が情報を圧縮しやすいかを分析する。
• 最終GNN層を完全隣接（FA）層に変換してボトルネックを破り、追加のチューニングなしで再訓練して影響を評価する。
• FA の改変を実世界のベンチマーク（QM9、NCI1、ENZYMES、VarMisuse）に適用し、再実装したベースラインを用いて性能向上を報告する。
• 与えられた問題半径 r に対する隠れサイズ d の組合せ的・経験的下限を提供し、必要な容量が指数関数的に増大することを示す。

実験結果

リサーチクエスチョン

• RQ1 GNN の情報ボトルネックは合成の長距離タスクで長距離パターンの学習を妨げるのか？
• RQ2 どの GNN アーキテクチャ（GCN、GIN、GGNN、GAT）が過度スクワッシュに対してより影響を受けやすく、なぜか？
• RQ3 FA 層を用いてボトルネックを破ることで、長距離タスクの性能を追加のチューニングなしで大幅に改善できるか？
• RQ4 実データセット（QM9、ENZYMES、NCI1、VarMisuse）での経験的結果は、過度スクワッシュの存在とFA層の有効性を裏付けるか？
• RQ5 問題の半径が拡大するにつれて長距離信号を適合させるために必要な隠れ次元の理論的限界は何か？

主な発見

• NeighborsMatch において、r=4 からデータを適合できず、r=5 で全てのモデルが失敗することから過度スクワッシュがあることが示される。
• GAT および GGNN は、注意機構やエッジフィルタリング機構により全域圧縮を緩和し、より大きな半径で GC N/GIN よりも良好な性能を維持する。
• 単一の FA 層でボトルネックを破ると、QM9 のエラーを平均して 42%低減させ、6つの GNN タイプで効果が見られ、追加のチューニングなしで ENZYMES、NCI1、VarMisuse のデータセットにも利益が現れる。
• QM9 全体で最終層を FA に置換すると、平均的な相対誤差が約 12% 前後の範囲で改善され、μ、α、HOMO、LUMO、ギャップなどで有意な改善が見られる。
• 生物学的ベンチマークでは、FA 層によってエラーが平均で約 8.1%（Enzymes、基準値比）および約 1.5%（NCI1、ベストベースライン比）低減し、ENZYMES と NCI1 で全体として約 12% の平均改善を達成。
• VarMisuse では最先端の成果を示し、SeenProjTest が 88.4%、UnseenProjTest が 83.8% に向上するなど、FA 層での改善が見られる。