[論文レビュー] GResNet: Graph Residual Network for Reviving Deep GNNs from Suspended Animation

Jiawei Zhang, Lin Meng|arXiv (Cornell University)|Sep 12, 2019

Advanced Graph Neural Networks参考文献 41被引用数 46

ひとこと要約

この論文は GResNet を導入します。ノード表現を深い GNN でも保存するための広範な highway 接続を作成し、停滞現象に対処し、標準的なグラフベンチマークでの性能を向上させます。

ABSTRACT

The existing graph neural networks (GNNs) based on the spectral graph convolutional operator have been criticized for its performance degradation, which is especially common for the models with deep architectures. In this paper, we further identify the suspended animation problem with the existing GNNs. Such a problem happens when the model depth reaches the suspended animation limit, and the model will not respond to the training data any more and become not learnable. Analysis about the causes of the suspended animation problem with existing GNNs will be provided in this paper, whereas several other peripheral factors that will impact the problem will be reported as well. To resolve the problem, we introduce the GResNet (Graph Residual Network) framework in this paper, which creates extensively connected highways to involve nodes' raw features or intermediate representations throughout the graph for all the model layers. Different from the other learning settings, the extensive connections in the graph data will render the existing simple residual learning methods fail to work. We prove the effectiveness of the introduced new graph residual terms from the norm preservation perspective, which will help avoid dramatic changes to the node's representations between sequential layers. Detailed studies about the GResNet framework for many existing GNNs, including GCN, GAT and LoopyNet, will be reported in the paper with extensive empirical experiments on real-world benchmark datasets.

研究の動機と目的

• 深さを増すときの深層 GCN/GNN モデルにおける停滞現象を特定し分析する。
• 層間の情報流を維持するためのグラフ残差項と Graph Residual Network (GResNet) アーキテクチャを提案する。
• ノルム保存の理論分析を行い、グラフ残差がなぜ表現の崩壊を回避するのかを説明する。
• 標準的なグラフデータセット（例：Cora、Citeseer、PubMed など）で深いアーキテクチャを用いて GResNet を経験的に検証し、ベースラインの GNN（GCN、GAT、LoopyNet）と比較する。

提案手法

• グラフ構造と正規化隣接行列の固有値の観点から、スペクトル型 GCN の停滞現象の限界を定義・分析する。
• 標準の層更新を置換・補助するグラフ残差項（naive、graph-naive、raw、graph-raw）を提案し、層間の特徴伝播を広範に可能にする。
• GResNet 層更新を H^(k) = ReLU( Ã H^(k-1) W^(k-1) + R(H^(k-1), X; G) ) の形で定式化し、ノードレベルおよびグラフレベルの残差をエンコードするさまざまな R 項を用意する。
• ノルム保存の視点からの理論的正当性を提供し、残差項が勾配フローを安定させ、層をまたいで表現を保持することを示す。
• 実験を通じて、より深い GResNet バリアントが停滞現象を回避し、ベンチマークデータセット上で従来の GCN/GAT/LoopyNet ベースラインよりも優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトルグラフ畳み込みを用いる深い GNN における停滞現象は何が原因か？
• RQ2 グラフ対応の残差項は多層にわたってノード表現を保持し、GNN の有効な深さを拡張するのに役立つか？
• RQ3 標準的なベンチマーク上で、異なるグラフ残差の定式化は精度とトレーニング安定性の点でどう比較されるか？
• RQ4 ノルム保存に関する理論的洞察は、GResNet の経験的利点を説明できるか？
• RQ5 実世界のデータセットにおいて、GResNet は vanilla GCN、GAT、LoopyNet のバックボーン間でどのように性能を示すか？

主な発見

• 深い GCN/GNN は、深さを増すと学習が劣化し最終的にデータに反応しなくなる停滞現象の限界を示す。
• グラフ構造と相関するグラフ残差項（graph-naive、graph-raw）は深層アーキテクチャを改善し、より深いネットワークとより良い精度を可能にする。
• グラフ残差を用いた GResNet の各種変種は、GCN、GAT、LoopyNet の複数のバックボーンにわたり、Cora、Citeseer、PubMed などのベンチマークデータセットで従来のベースラインより高い精度を達成する。
• 本論文はノルム保存の分析を提供し、残差項が層を横断して表現を安定化させ、深い GNN の効果的な訓練を支持することを示している。
• 経験的な結果は、より深い GResNet モデルが浅いモデルより優れていることを示しており、提案された残差設計が深さによる劣化を緩和することを示唆している。