[論文レビュー] On the Promise of the Stochastic Generalized Gauss-Newton Method for Training DNNs

Matilde Gargiani, Andrea Zanelli+2 more|arXiv (Cornell University)|Jun 3, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、ガウス＝ニュートンのヘシアン近似と共役勾配反復を用いた、ヘシアンを直接計算しない2次最適化手法として、確率的一般化ガウス＝ニュートン（SGN）法を提案する。SGNは、特に大きなミニバッチ設定において、SGDと比較して収束に要する反復回数と実行時間を顕著に削減する一方で、学習率を含むハイパーパrameterへの感受性が著しく低いという優れたロバスト性を示しており、1次最適化手法の有望な代替手法である。

ABSTRACT

Following early work on Hessian-free methods for deep learning, we study a stochastic generalized Gauss-Newton method (SGN) for training DNNs. SGN is a second-order optimization method, with efficient iterations, that we demonstrate to often require substantially fewer iterations than standard SGD to converge. As the name suggests, SGN uses a Gauss-Newton approximation for the Hessian matrix, and, in order to compute an approximate search direction, relies on the conjugate gradient method combined with forward and reverse automatic differentiation. Despite the success of SGD and its first-order variants, and despite Hessian-free methods based on the Gauss-Newton Hessian approximation having been already theoretically proposed as practical methods for training DNNs, we believe that SGN has a lot of undiscovered and yet not fully displayed potential in big mini-batch scenarios. For this setting, we demonstrate that SGN does not only substantially improve over SGD in terms of the number of iterations, but also in terms of runtime. This is made possible by an efficient, easy-to-use and flexible implementation of SGN we propose in the Theano deep learning platform, which, unlike Tensorflow and Pytorch, supports forward automatic differentiation. This enables researchers to further study and improve this promising optimization technique and hopefully reconsider stochastic second-order methods as competitive optimization techniques for training DNNs; we also hope that the promise of SGN may lead to forward automatic differentiation being added to Tensorflow or Pytorch. Our results also show that in big mini-batch scenarios SGN is more robust than SGD with respect to its hyperparameters (we never had to tune its step-size for our benchmarks!), which eases the expensive process of hyperparameter tuning that is instead crucial for the performance of first-order methods.

研究の動機と目的

• 深層ニューラルネットワークの訓練に向けた、確率的一般化ガウス＝ニュートン（SGN）法の実験的性能と実用的妥当性を調査すること。
• 標準的なSGDと比較して、SGNの収束速度、実行時間効率、ハイパーパrameterへのロバスト性を評価すること。
• SGNが反復回数だけでなく、特に大きなミニバッチ設定下での総合的な訓練時間においてもSGDを上回ることを実証すること。
• PyTorch や TensorFlow などのディープラーニングフレームワークに前向き自動微分を統合することで、先進的な2次最適化手法の広範な採用を促進することを提唱すること。
• ディープラーニングにおける1次最適化手法の代替手段として、スケーラブルで実用的な確率的2次最適化手法の再注目を促すこと。

提案手法

• SGNは、ヘシアン行列のガウス＝ニュートン近似を用いることで、明示的なヘシアン計算を避けて曲率情報を効率的に捉える。
• 得られた線形方程式系を共役勾配（CG）法により解き、ヘシアン・ベクター積の計算に前向きおよび後ろ向きの自動微分を活用する。
• 計算コストを削減しながら収束保証を維持するために、確率的ミニバッチを採用する。
• Theano での実装は前向き自動微分をサポートしており、曲率関連演算の効率的かつ柔軟な計算を可能にする。
• 残差の大きさに基づいてCG反復回数を動的に調整するアルゴリズムであり、大きなミニバッチ環境下ではより高い反復回数が性能向上に寄与するとされるヒューリスティックが提示されている。
• 最適化中にCG反復回数を調整するための適応的トラスト領域方式をサポートしており、収束の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 確率的一般化ガウス＝ニュートン（SGN）法は、深層ニューラルネットワークの訓練において、反復回数と実行時間の両面でSGDを上回る収束速度を達成できるか？
• RQ2 計算効率とハイパーパrameterへの感受性が極めて重要な大きなミニバッチ環境下で、SGNはどのような性能を示すか？
• RQ3 SGDが学習率の選定に極めて感受性を示すのに対し、SGNはどれほどハイパーパramータチューニング、特にステップサイズに対してロバストであるか？
• RQ4 Theano や PyTorch や TensorFlow などのディープラーニングフレームワークに前向き自動微分を統合することで、先進的な2次最適化手法の広範な採用が可能になるか？
• RQ5 時間制約のある訓練環境において、SGNのCG反復回数と計算コストの最適なトレードオフは何か？

主な発見

• SGNは、すべてのベンチマークでSGDと比較して顕著に少ない反復回数で収束を示し、特に大きなミニバッチ設定下で顕著である。
• 反復ごとの計算コストが高価であるにもかかわらず、収束が速いため、SGDと比較して競争的または優れた実行時間性能を達成する。
• SGNはハイパーパラメータチューニング、特にステップサイズに対して顕著なロバスト性を示すが、SGDの性能は学習率の値に極めて感受性を示す。
• SGNは一般化性能が高く、少ないエポック数でより高いテスト精度を達成しており、改善された一般化特性を示している。
• Theano における前向き自動微分の使用により、SGNの効率的かつ柔軟な実装が可能となり、適応的CG反復制御などの高度な機能をサポートする。
• 結果から、SGNはハイパーパラメータチューニングの必要性を低減でき、より持続可能でエネルギー効率の高いディープラーニングの訓練に貢献する可能性があると示唆される。