[論文レビュー] Gram-Gauss-Newton Method: Learning Overparameterized Neural Networks for Regression Problems

Tianle Cai, Ruiqi Gao+6 more|arXiv (Cornell University)|May 28, 2019

Neural Networks and Applications参考文献 53被引用数 31

ひとこと要約

本稿では、平方損失を伴う回帰タスクにおける過パラメータ化されたニューラルネットワークの学習を目的とした、新しい2次最適化アルゴリズムであるGram-Gauss-Newton（GGN）法を提案する。ニューラル接線カーネル（NTK）を活用し、ヤコビ行列のグラム行列（J J⊤）を用いてカーネル回帰問題を解くことで、SGDに比べてわずかな計算コスト増加で二次収束を達成する。これにより、大規模モデルにおいて理論的にも実用的にも有効な最適化手法が実現される。

ABSTRACT

First-order methods such as stochastic gradient descent (SGD) are currently the standard algorithm for training deep neural networks. Second-order methods, despite their better convergence rate, are rarely used in practice due to the prohibitive computational cost in calculating the second-order information. In this paper, we propose a novel Gram-Gauss-Newton (GGN) algorithm to train deep neural networks for regression problems with square loss. Our method draws inspiration from the connection between neural network optimization and kernel regression of neural tangent kernel (NTK). Different from typical second-order methods that have heavy computational cost in each iteration, GGN only has minor overhead compared to first-order methods such as SGD. We also give theoretical results to show that for sufficiently wide neural networks, the convergence rate of GGN is \emph{quadratic}. Furthermore, we provide convergence guarantee for mini-batch GGN algorithm, which is, to our knowledge, the first convergence result for the mini-batch version of a second-order method on overparameterized neural networks. Preliminary experiments on regression tasks demonstrate that for training standard networks, our GGN algorithm converges much faster and achieves better performance than SGD.

研究の動機と目的

• 高い計算コストのため、深層学習における2次最適化手法の実用的利用が限られているという問題に対処すること。
• ヘシアンに基づく手法の高速収束を維持しつつ、計算コスト効率の良い2次最適化手法を開発すること。
• 過パラメータ化されたニューラルネットワークにおけるミニバッチ版2次最適化手法の理論的収束保証を確立すること。
• ニューラルネットワーク最適化とカーネル回帰の間の関係を、ニューラル接線カーネル（NTK）を介して活用すること。
• 各ステップでNTKに基づく回帰を直接解くことで、回帰タスクにおけるより速い学習と性能向上を実現すること。

提案手法

• GGN法は、ヘシアン近似J⊤Jの代わりにヤコビ行列のグラム行列J J⊤を用いることでガウス・ニュートン更新を再定式化し、計算コストをO(m²)からO(n²)に削減する。ここでnは訓練サンプル数である。
• 各反復で、ネットワーク出力のパラメータに関するヤコビアンから導かれるカーネルを用いてカーネル回帰問題を解く。
• ミニバッチを用いることで確率的要因を導入し、一般化性能の向上と1反復あたりのコスト削減を実現する。グラム行列のサイズはバッチサイズbに従いb×bにスケーリングされる。
• アルゴリズムは、ヘシアンが非正定値であっても良好に条件付けられ、逆行列が存在するグラム行列の逆行列を用いて、ニュートン型の更新を暗黙的に行う。
• 理論的分析により、十分に広いネットワークではGGNが二次収束を達成することが示され、SGDの線形収束を上回る。
• パラメータ更新をコンact領域内に制限することで、安定性と収束性を維持する。このためにスペクトルノルムと固有値の境界を用いる。

実験結果

リサーチクエスチョン

• RQ1 計算コストの増加を抑えることで、大規模な過パラメータ化されたニューラルネットワークにおける2次最適化の実用化は可能か？
• RQ2 各ステップでNTKに基づくカーネル回帰を解くことで、SGDのような標準的な1次最適化手法よりも高速な収束が達成できるか？
• RQ3 ミニバッチ版2次最適化手法は、過パラメータ化領域において理論的収束保証を満たすことができるか？
• RQ4 2次最適化におけるヘシアン近似の代替として、グラム行列J J⊤は実用的で安定的か？
• RQ5 NTKフレームワーク下で、過パラメータ化されたネットワークに2次最適化手法を適用した際の収束速度はいかほどか？

主な発見

• GGNは、十分に広い過パラメータ化されたニューラルネットワークにおいて二次収束を達成し、SGDの線形収束速度を著しく上回る。
• GGNの1反復あたりの計算コスト増加は非常に小さく、J J⊤の計算とその逆行列計算のみを追加で行うため、n×nまたはb×bのサイズの行列で済む。
• 過パラメータ化されたニューラルネットワークにおけるミニバッチ版2次最適化手法の理論的収束保証が初めて確立され、収束速度はO((1−Ω(λ₀²/n²))ᵗ)である。
• 実験的結果により、GGNは標準的な回帰タスクにおいてSGDよりもはるかに速く収束し、優れた性能を達成することが示された。
• パラメータ更新がコンact領域B(R)内に制限されており、R=Θ(n⁵/λ₀⁴)であるため、学習全体を通して安定性が保たれている。
• 理論的分析により、グラム行列Gₜᵢ,ᵢの逆行列が良好に条件付けられており、かつ有界であることが確認され、数値的安定性が保証された。