[論文レビュー] Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

Keyulu Xu, Mozhi Zhang+2 more|arXiv (Cornell University)|May 10, 2021

Advanced Graph Neural Networks被引用数 16

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）における勾配ダイナミクスの最初の理論的分析を提供し、スキップ接続を備えた線形化GNNと、深さを増した構造が、弱い仮定のもとでグローバルに最小値に線形速度で収束することを示している。実験的結果は、スキップ接続とより深いアーキテクチャが訓練を内蔵的に加速することを確認しており、深くマルチスケールなGNNの実用的成功の理論的裏付けを提供している。

ABSTRACT

Graph Neural Networks (GNNs) have been studied through the lens of expressive power and generalization. However, their optimization properties are less well understood. We take the first step towards analyzing GNN training by studying the gradient dynamics of GNNs. First, we analyze linearized GNNs and prove that despite the non-convexity of training, convergence to a global minimum at a linear rate is guaranteed under mild assumptions that we validate on real-world graphs. Second, we study what may affect the GNNs' training speed. Our results show that the training of GNNs is implicitly accelerated by skip connections, more depth, and/or a good label distribution. Empirical results confirm that our theoretical results for linearized GNNs align with the training behavior of nonlinear GNNs. Our results provide the first theoretical support for the success of GNNs with skip connections in terms of optimization, and suggest that deep GNNs with skip connections would be promising in practice.

研究の動機と目的

• 表現力と一般化性能の向上が進んでも、依然として理解が不十分なグラフニューラルネットワーク（GNN）の最適化ダイナミクスを理解すること。
• 非凸なGNN学習において勾配降下法がグローバル最小値に収束できるかどうかを調査すること、特に深さのあるアーキテクチャにおいて。
• スキップ接続、深さ、ラベル分布がGNN訓練の加速に果たす役割を分析すること。
• スキップ接続付きの深さのあるGNNの実証的成功の理論的裏付けを提供すること。
• 最適化ダイナミクスとアーキテクチャ的選択の間のギャップを埋め、理論的分析と実用的GNN設計を結びつけること。

提案手法

• 線形活性化関数を用いた簡略化モデルを用いて、GNNの勾配ダイナミクスを線形化GNNで分析し、非凸ダイナミクスの主要な特徴を捉える。
• 弱い仮定のもとでグローバル収束が線形速度で達成されることを証明し、実世界のグラフで検証する。
• 収束速度を定量化するための時変パラメータλₜを導入し、アーキテクチャ的要因の影響を分析する。
• 理論的および実験的分析を通じて、スキップ接続、深さ、ラベルの信号対ノイズ比が訓練速度に与える影響を検討する。
• ベンチマークデータセット上でReLUと線形GNNの訓練曲線を比較することで、非線形GNNへの理論的発展を試みる。
• PyTorchおよびPyTorch Geometricを用いて訓練と固有値計算を実施し、CoraおよびCiteseerデータセットを対象に実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 非凸性があるにもかかわらず、勾配降下法はグラフニューラルネットワークの学習においてグローバル最小値に収束できるか？
• RQ2 スキップ接続はGNNの最適化ダイナミクスと収束速度にどのように影響するか？
• RQ3 ネットワークの深さを増すとGNNの訓練がより速くなるのか？ もしそうなら、その理由は何か？
• RQ4 ラベル分布（信号対ノイズ）はGNNの訓練速度にどのように影響するか？
• RQ5 線形化GNNにおける理論的結果が、実際の非線形GNNにどの程度一般化できるか？

主な発見

• 弱い仮定のもとで、二乗損失を用いた線形化GNNは、CoraやCiteseerといった実世界のグラフに対してもグローバルに最小値に線形速度で収束する。
• スキップ接続は、より深いアーキテクチャでさえも、最適化ダイナミクスを内蔵的に改善することで、訓練を顕著に加速する。
• 深さを増すことで収束がさらに加速され、スキップ接続付きのより深いGNNが最適化において好ましいことが示唆される。
• 特徴と相関のある信号含有量の高いラベル分布は、訓練を速くするが、ランダムなラベルは収束を遅くする。
• ReLU GNNの実験的訓練曲線は、線形化GNNのそれと密接に一致しており、非線形モデルに対しても理論的分析の妥当性が裏付けられる。
• 成功した訓練設定では時変条件λₜが時間とともに減少し、理論的収束速度予測が正当化される。