[論文レビュー] Towards Deepening Graph Neural Networks: A GNTK-based Optimization Perspective

Wei Huang, Yayong Li+5 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Graph Neural Networks参考文献 43被引用数 7

ひとこと要約

本稿は、GNTKに基づく最適化的視点を提案し、深層グラフニューラルネットワーク（GNN）におけるトレーニング可能性崩壊を説明する。超広いGCNでは、深さに伴いトレーニング可能性が指数関数的に低下することを明らかにした。本稿では、GNTKの多様性を維持することでこの低下を緩和する、グラフに適応したサンプリング手法であるCritical DropEdgeを導入し、複数のベンチマークで深層GNNの訓練性能を顕著に向上させた。

ABSTRACT

Graph convolutional networks (GCNs) and their variants have achieved great success in dealing with graph-structured data. Nevertheless, it is well known that deep GCNs suffer from the over-smoothing problem, where node representations tend to be indistinguishable as more layers are stacked up. The theoretical research to date on deep GCNs has focused primarily on expressive power rather than trainability, an optimization perspective. Compared to expressivity, trainability attempts to address a more fundamental question: Given a sufficiently expressive space of models, can we successfully find a good solution via gradient descent-based optimizers? This work fills this gap by exploiting the Graph Neural Tangent Kernel (GNTK), which governs the optimization trajectory under gradient descent for wide GCNs. We formulate the asymptotic behaviors of GNTK in the large depth, which enables us to reveal the dropping trainability of wide and deep GCNs at an exponential rate in the optimization process. Additionally, we extend our theoretical framework to analyze residual connection-based techniques, which are found to be merely able to mitigate the exponential decay of trainability mildly. Inspired by our theoretical insights on trainability, we propose Critical DropEdge, a connectivity-aware and graph-adaptive sampling method, to alleviate the exponential decay problem more fundamentally. Experimental evaluation consistently confirms using our proposed method can achieve better results compared to relevant counterparts with both infinite-width and finite-width.

研究の動機と目的

• 深層GCNが理論的表現力を持つにもかかわらず、なぜトレーニングに失敗するのかという根本的な理解のギャップを埋めること。
• 大深さ極限における超広いGCNの最適化ダイナミクスを、グラフニューラルタングェントカーネル（GNTK）を用いて分析すること。
• 残差接続が深層GNNにおけるトレーニング可能性崩壊を効果的に緩和できるかどうかを検証すること。
• GNTKの多様性を維持することで、指数的トレーニング可能性の低下を根本的になくす、新たなサンプリング手法であるCritical DropEdgeの設計

提案手法

• 超広いGCNにおけるGNTK行列の大深さ漸近的挙動の理論的分析により、すべての要素が同じ値に指数関数的に収束することを示した。
• 深層GCNにおけるGNTKの特異極限の導出により、勾配降下法下で指数的トレーニング可能性崩壊が生じることを示した。
• 理論的分析を残差接続を用いたGCNに拡張し、トレーニング可能性の低下が僅かに緩和されることを示した。
• 接続性を考慮した、グラフに適応するエッジサンプリング戦略であるCritical DropEdgeの設計。GNTKの多様性を維持し、単一の値への指数的収束を防ぐ。
• Cora、Citeseer、PubMed、PhysicsのデータセットにおけるGNTK収束曲線と訓練損失の軌跡を用いた実験的検証。
• 16層および32層モデルにおける、標準GCN、DropEdge、C-DropEdgeの訓練ダイナミクスの比較により、収束速度と最終損失を評価

実験結果

リサーチクエスチョン

• RQ1 超広いGCNにおいて、大深さ極限においてグラフニューラルタングェントカーネル（GNTK）は、特異行列に指数関数的に収束するか？
• RQ2 残差接続は、GNTKの指数的減衰をどの程度緩和でき、深層GCNにおけるトレーニング可能성을向上させ得るか？
• RQ3 C-DropEdgeのようなグラフに適応したエッジサンプリング手法は、深層GCNで観察される指数的トレーニング可能性崩壊を根本的になくせるか？
• RQ4 収束速度および最終パフォーマンスの観点から、標準GCN、DropEdge、C-DropEdgeにおけるGNTKに基づく最適化行動にどのような違いがあるか？

主な発見

• 超広いGCNのGNTK行列は、大深さ極限において特異行列に指数関数的に収束し、指数的トレーニング可能性崩壊を引き起こす。
• 残差接続はGNTKの指数的減衰を僅かに遅らせるにとどまり、深層GCNにおけるトレーニング可能性崩壊を防げない。
• Critical DropEdgeはGNTKの多様性を効果的に維持し、指数的収束を防ぎ、深層GCNの安定した学習を可能にする。
• Coraでは、16層GCNにC-DropEdgeを適用した場合、36.3±13.8%の標準GCNおよび55.1±5.2%のDropEdgeを上回る58.5±3.9%の精度を達成した。
• Citeseerでは、32層GCNにC-DropEdgeを適用した場合、20.1±2.4%の標準GCNおよび22.1±2.0%のDropEdgeを大きく上回る24.7±1.8%の精度を達成した。
• Physicsでは、32層GCNにC-DropEdgeを適用した場合、28.8±9.4%の標準GCNおよび31.1±8.8%のDropEdgeを上回る36.2±8.4%の精度を達成した。C-DropEdgeは、より深いモデルで見られるOOM問題を回避した。