[論文レビュー] GRESNET: Graph Residuals for Reviving Deep Graph Neural Nets from Suspended Animation

Jiawei Zhang|arXiv (Cornell University)|Sep 12, 2019

Advanced Graph Neural Networks被引用数 3

ひとこと要約

この論文では、GResNetと呼ばれるグラフ残差ネットワークを紹介しており、深層GNNにおける「停止状態問題」を、層をまたいで広範なスキップ接続を可能にすることで軽減する。これにより、ノード表現のノルムが保持され、学習可能性が回復される。本研究ではグラフ残差項におけるノルム保存の性質を理論的に証明し、ベンチマークデータセット上でのGCN、GAT、LoopyNetにおいて性能向上を示している。

ABSTRACT

The existing graph neural networks (GNNs) based on the spectral graph convolutional operator have been criticized for its performance degradation, which is especially common for the models with deep architectures. In this paper, we further identify the suspended animation problem with the existing GNNs. Such a problem happens when the model depth reaches the suspended animation limit, and the model will not respond to the training data any more and become not learnable. Analysis about the causes of the suspended animation problem with existing GNNs will be provided in this paper, whereas several other peripheral factors that will impact the problem will be reported as well. To resolve the problem, we introduce the GResNet (Graph Residual Network) framework in this paper, which creates extensively connected highways to involve nodes' raw features or intermediate representations throughout the graph for all the model layers. Different from the other learning settings, the extensive connections in the graph data will render the existing simple residual learning methods fail to work. We prove the effectiveness of the introduced new graph residual terms from the norm preservation perspective, which will help avoid dramatic changes to the node's representations between sequential layers. Detailed studies about the GResNet framework for many existing GNNs, including GCN, GAT and LoopyNet, will be reported in the paper with extensive empirical experiments on real-world benchmark datasets.

研究の動機と目的

• 深層グラフニューラルネットワーク（GNN）における性能低下を解消すること。これは、モデルが学習データに対して反応しなくなる「停止状態問題」に起因する。
• スペクトルベースGNNにおける「停止状態問題」の根本的要因を特定すること、特に深層アーキテクチャ下での挙動に注目する。
• すべての層にわたる広範なスキップ接続を備えた、新たな残差フレームワーク、GResNetを考案し、表現の安定性を維持すること。
• 提案されたグラフ残差項がノード表現のノルムを保存することを保証し、層間での急激な変化を防ぐこと。
• 実世界のベンチマークデータセット上でのGCN、GAT、LoopyNetを含む複数のGNNアーキテクチャに対して、GResNetの有効性を検証すること。

提案手法

• すべての層にわたり、元のノード特徴量と中間表現を接続するグラフ残差項を導入し、ネットワーク全体に広範なハイウェイを構築する。
• グラフデータの構造的性質に特化した残差接続を設計し、この文脈において従来の残差学習の限界を克服する。
• 理論的に導入されたグラフ残差項がノード表現のノルムを保存することを証明し、深層層における学習ダイナミクスの安定化を実現する。
• GCN、GAT、LoopyNetなどの既存GNNにGResNetフレームワークを統合するため、残差接続をノルム保存をサポートする形に変更する。
• 表現の安定性を深層のグラフ畳み込み層スタックにわたって維持する、修正されたメッセージパッシングメカニズムを適用する。
• 実世界のベンチマークデータセットを用いた広範な実験評価を行い、多様なGNNアーキテクチャにおける汎化性能と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層スペクトルベースGNNにおける「停止状態問題」の原因は何か？ そして、それがモデルの学習可能性にどのように制限を加えるか？
• RQ2 なぜ標準的な残差学習手法はグラフ構造データ、特に深層アーキテクチャにおいて失敗するのか？
• RQ3 グラフニューラルネットワークにおいて、表現ノルムを保存するように広範なスキップ接続をどのように設計できるか？
• RQ4 GResNetフレームワークは、GCN、GAT、LoopyNetのような既存GNNの性能と安定性をどの程度向上させるか？
• RQ5 GResNetが深層GNNで成功する要因となる主なアーキテクチャ的要因および学習ダイナミクス的要因は何か？

主な発見

• 「停止状態問題」は、モデルの深さが閾値を超えると発生し、ネットワークが学習データに対して反応しなくなり、学習不能になる。
• 提案されたGResNetフレームワークにより、ノード表現のノルムを層間で保持する広範なスキップ接続が可能となり、深層GNNが効果的に復活する。
• 実験結果から、GResNetを用いることで、実世界のベンチマークデータセット上でのGCN、GAT、LoopyNetにおいて一貫した性能向上が確認された。
• グラフ残差項のノルム保存性は理論的に証明され、深層アーキテクチャにおける学習ダイナミクスの安定化に寄与することが示された。
• グラフ構造や特徴量分布といった周辺要因は「停止状態問題」の発生に影響を与えるが、GResNetはそれらの悪影響を効果的に緩和した。
• GResNetにより、従来の残差学習の限界を克服し、より深いGNNの有効な訓練が可能になった。