[論文レビュー] Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 83被引用数 5

ひとこと要約

本稿は、勾配ブースティングを用いた推論的グラフニューラルネットワーク（GNN）の理論的枠組みを提案し、弱学習条件の下で収束性および一般化バウンドを証明する。多スケールGNNがブースティングにより訓練されると、深さに伴いテスト誤差が単調に減少することを示し、過剰平滑化に対するその頑健性の理論的説明を与える。

ABSTRACT

It is known that the current graph neural networks (GNNs) are difficult to make themselves deep due to the problem known as over-smoothing. Multi-scale GNNs are a promising approach for mitigating the over-smoothing problem. However, there is little explanation of why it works empirically from the viewpoint of learning theory. In this study, we derive the optimization and generalization guarantees of transductive learning algorithms that include multi-scale GNNs. Using the boosting theory, we prove the convergence of the training error under weak learning-type conditions. By combining it with generalization gap bounds in terms of transductive Rademacher complexity, we show that a test error bound of a specific type of multi-scale GNNs that decreases corresponding to the number of node aggregations under some conditions. Our results offer theoretical explanations for the effectiveness of the multi-scale structure against the over-smoothing problem. We apply boosting algorithms to the training of multi-scale GNNs for real-world node prediction tasks. We confirm that its performance is comparable to existing GNNs, and the practical behaviors are consistent with theoretical observations. Code is available at https://github.com/delta2323/GB-GNN.

研究の動機と目的

• 多スケールGNNが過剰平滑化を軽減するという経験的成果の背後にある理論的理解の欠如に応えること。
• しばしば既存の理論で無視されがちな、特にGNNを含む推論的学習モデルの最適化および一般化保証を提供すること。
• ブースティング理論を活用して、インダクティブ学習理論と推論的設定の間のギャップを埋めること。
• GB-GNNというブースティングに基づくGNN訓練手法を用いて、実世界の引用ネットワーク上で理論的発見を実証的に検証すること。

提案手法

• ブースティング理論を用いて推論的GNNを弱学習器のアンサンブルとして形式化し、モデルを集約関数𝒢と変換関数𝒷に分解する。
• 弱学習条件（w.l.c.）の下で訓練誤差の収束性を証明し、ノード予測が相互に依存する設定においてブースティング理論を推論的設定へと拡張する。
• 推論的ラデマッハ複雑度を用いて一般化ギャップバウンドを導出し、特定の多スケールGNNクラスにおいて弱学習条件の下で深さに伴いテスト誤差が減少することを示す。
• 弱学習器によるノード表現の反復的精錬を用いて、多スケールGNNに勾配ブースティングを適用するGB-GNNを提案する。
• GNNアーキテクチャにおける異なるインダクティブバイアスを探索するために、複数の集約メカニズム（Adj, KTA, II, SAMME.R）を採用する。
• 特にGPUメモリ制限により標準GNNが失敗するような深層アーキテクチャにおいても、性能を向上させるためにファインチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 ブースティング理論は、相互に依存するノード予測を持つ推論的GNNの最適化保証を提供するために拡張可能か？
• RQ2 勾配ブースティングにより訓練された多スケールGNNアーキテクチャは、深さの増加に伴い一般化性能が向上するか、特に顕著か？
• RQ3 多スケールGNNのテスト誤差が、集約層の数に伴い単調に減少する条件は何か？
• RQ4 一般化および最適化に関する理論的予測は、実世界のグラフベンチマークにおける実証的性能とどの程度整合するか？
• RQ5 GB-GNNは、最先端のGNNと同等の性能を達成しつつ、理論的一致性を維持できるか？

主な発見

• 理論的分析により、弱学習条件の下で訓練された多スケールGNNがグローバル最適解に収束することを示し、推論的GNNに対する最適化保証が得られる。
• 特定の多スケールGNNクラスにおいて、弱学習条件の下でテスト誤差バウンドが深さに伴い単調に減少することを示し、過剰平滑化問題への耐性が裏付けられる。
• GB-GNNモデルは、引用ネットワークにおいて最先端の性能を達成し、GB-GNN-SAMME.R + ファインチューニングはCoraで82.1%の精度を達成し、標準GNNを上回る。
• 実証的結果により、訓練ダイナミクスおよび性能トレンドが理論的予測と一致することが確認され、特に深さに伴う誤差の減少が顕著である。
• ファインチューニングは、深層モデルにおける性能を顕著に向上させ、GPUメモリ制限により標準GNNが失敗する状況でも、成功した訓練を可能にする。
• 弱学習器と勾配の類似度（cosθ）が反復処理全体にわたり一貫して高く維持されるため、GB-GNNの学習ダイナミクスが安定的かつ効果的であることが示される。