[論文レビュー] Optimization of Graph Neural Networks with Natural Gradient Descent

Mohammad Izadi, Yihao Fang+2 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Graph Neural Networks参考文献 24被引用数 10

ひとこと要約

本稿では、自然勾配降下法（NGD）とKronecker分解近似曲率（KFAC）を用いた、グラフニューラルネットワーク（GNNs）のための新規最適化フレームワークを提案する。半教師ありノード分類の文脈で、トレーニング効率と性能を向上させる。ラベルなしサンプルをフィッシャー情報行列の推定に組み込むことで、Adam や SGD よりも高速な収束と優れたテスト精度を達成した。

ABSTRACT

In this work, we propose to employ information-geometric tools to optimize a graph neural network architecture such as the graph convolutional networks. More specifically, we develop optimization algorithms for the graph-based semi-supervised learning by employing the natural gradient information in the optimization process. This allows us to efficiently exploit the geometry of the underlying statistical model or parameter space for optimization and inference. To the best of our knowledge, this is the first work that has utilized the natural gradient for the optimization of graph neural networks that can be extended to other semi-supervised problems. Efficient computations algorithms are developed and extensive numerical studies are conducted to demonstrate the superior performance of our algorithms over existing algorithms such as ADAM and SGD.

研究の動機と目的

• 標準的な SGD や Adam が GNN の半教師あり学習を訓練する際、収束が遅く、ハイパーパramータに敏感であるという問題に取り組む。
• GNN のパラメータ空間の内在的幾何構造を活用するため、情報幾何的原則に基づいて自然勾配降下法を適用する。
• ラベルなしデータを用いて、効率的かつスケーラブルなフィッシャー情報行列の近似を KFAC を用いて開発する。
• ベースライン最適化手法（Adam や SGD など）と比較して、提案手法の性能、ハイパーパramータへのロバストネス、トレーニング効率を実験的に評価する。
• 深層アーキテクチャへの応用や、より高速な曲率近似への拡張を想定した、GNN におけるプレコンディショニング最適化の基盤を構築する。

提案手法

• ノード分類を最小二乗回帰と交差エントロピー損失を用いた確率的モデルとして定式化し、グラフ構造データに条件づけられた予測を扱う。
• パラメータ空間の幾何構造を考慮するために、フィッシャー情報行列の逆行列による前処理を施した自然勾配降下法（NGD）を用いて GNN パラメータを最適化する。
• フィッシャー情報行列は、大規模な GNN においても効率的な計算と逆行列計算を可能にする、Kronecker-Factored Approximate Curvature（KFAC）を用いて近似する。
• 計算コストと最適化安定性のバランスを考慮し、フィッシャー行列の更新を 50 エポックごとに行い、ラベルなしサンプルを用いてフィッシャー行列を推定する。
• Adam および SGD 最適化手法と統合し、ハイブリッド手法（Adam-KFAC および SGD-KFAC）を構築し、最適化戦略ごとの性能を評価する。
• 隣接行列の確率的枠組みと条件付きターゲット分布のモデル化を定義することで、グラフ上での原理的半教師あり学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 KFAC 前処理を施した自然勾配降下法は、半教師ありノード分類の GNN において収束速度とテスト精度を向上させることができるか？
• RQ2 フィッシャー情報推定にラベルなしサンプルを組み込むことで、最適化性能と一般化性能にどのような影響を与えるか？
• RQ3 学習率、正則化、フィッシャー行列の更新頻度といったハイパーパラメータに対して、提案手法はどれほど感受性を示すか？
• RQ4 KFAC 前処理を施した SGD は、収束速度と最終的なモデル精度において、Adam を用いた最適化手法を上回るか？
• RQ5 自然勾配アプローチは、GNN 学習において既存の適応的最適化手法（例：Adam）と効果的に組み合わせられるか？

主な発見

• 提案手法の SGD-KFAC は、全テスト最適化手法の中で最も速い収束速度を達成し、全引用データセットで、vanilla SGD や Adam を上回った。
• すべての引用データセットの3つの分割において、SGD-KFAC は Adam や Adam-KFAC よりも高いテスト精度を達成し、優れた一般化性能を示した。
• Adam-KFAC は全データセットで類似した性能を示したが、SGD-KFAC はデータセット依存の過学習行動を示し、データ分布により敏感であることが判明した。
• フィッシャー行列の更新を 50 エポックごとに行うことで、計算コストと性能のバランスが良く、より頻繁な更新と比較してバリデーション損失に顕著な低下がなかった。
• 学習率と正則化ハイパーパラメータに対して、提案手法はロバストであった。ε を小さくすると収束が速くなり、γ を大きくすると収束安定性が向上した。
• 時間計算量の分析から、特に高次元特徴入力において、標準的な SGD よりも1エポックあたりのトレーニング時間を顕著に短縮した。