[論文レビュー] Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks

Yi Ren, Donald Goldfarb|arXiv (Cornell University)|Jun 5, 2019

Neural Networks and Applications参考文献 21被引用数 12

ひとこと要約

本稿では、自動微分を用いてLevenberg-MarquardtのダミングとSherman-Morrison-Woodburyの公式を組み合わせ、深層ニューラルネットワークの学習に効率的な部分サンプリングされたガウス・ニュートン法（SMW-GN）およびネイチャラル・グラディエント法（SMW-NG）を提案する。この手法により、第一階層の手法と同等の計算コストで第二階層の情報に基づいた最適化が高速に実現され、半確率的バージョンでは停留点への収束を達成し、ハイパーパrameterのチューニングなしでSGD、ヘッセフリー、KFAC手法を上回る学習速度と一般化性能を達成する。

ABSTRACT

We present practical Levenberg-Marquardt variants of Gauss-Newton and natural gradient methods for solving non-convex optimization problems that arise in training deep neural networks involving enormous numbers of variables and huge data sets. Our methods use subsampled Gauss-Newton or Fisher information matrices and either subsampled gradient estimates (fully stochastic) or full gradients (semi-stochastic), which, in the latter case, we prove convergent to a stationary point. By using the Sherman-Morrison-Woodbury formula with automatic differentiation (backpropagation) we show how our methods can be implemented to perform efficiently. Finally, numerical results are presented to demonstrate the effectiveness of our proposed methods.

研究の動機と目的

• 完全なヘッセ行列の逆行列計算の高コストを回避しつつ、部分的なヘッセ行列の情報を組み込んだ第二階層の最適化手法を、計算効率を維持したまま開発すること。
• 大規模なディープラーニングにおける完全ヘッセ行列の逆行列計算の高コストを解消するため、部分サンプリングされたガウス・ニュートン行列およびフィッシャー情報行列を用いること。
• 第二階層の曲率に配慮した利点と確率的最適化のスケーラビリティを統合したアルゴリズムを設計すること。
• 全勾配とミニバッチヘッセ行列近似を用いる半確率的バージョンの収束を証明すること。
• 学習率のチューニングなしに、SGD、ヘッセフリー、KFAC手法と比較して、学習速度と一般化性能で競争力を持つことを実証すること。

提案手法

• 部分サンプリングされたガウス・ニュートン法またはフィッシャー情報行列にLevenberg-Marquardtのダミング項を追加し、最適化の安定化を図る。
• 自動微分（バックプロパゲーション）を用いて、Sherman-Morrison-Woodburyの公式を適用し、ダミングされたヘッセ行列近似の効率的な逆行列計算を実現する。
• ガウス・ニュートン行列およびフィッシャー行列におけるKronecker因数分解構造を活用し、行列の構築と逆行列計算をO(n)時間計算量で達成する。
• 半確率的バージョンは全勾配とミニバッチヘッセ行列近似を組み合わせており、停留点への収束が証明されている。
• 完全に確率的なバージョンは、部分サンプリングされた勾配とヘッセ行列近似のみを用い、パrameterチューニングなしで高速かつ適応的な更新が可能である。
• 行列 $ D_t $ に関連する項の計算を並列化することで、アルゴリズムを効率的に実装し、第二階層のコストを勾配評価と同等の水準に抑える。

実験結果

リサーチクエスチョン

• RQ1 部分サンプリングされたガウス・ニュートン法およびネイチャラル・グラディエント法は、第一階層の手法と同等の計算コストで、ディープラーニングにおいて高速な収束を達成できるか？
• RQ2 完全なヘッセ行列の逆行列計算を避けることで、大規模なニューラルネットワーク学習に第二階層の曲率情報を取り入れる効率的な方法は何か？
• RQ3 全勾配とミニバッチヘッセ行列近似を用いる半確率的バージョンに対して、どのような収束保証を確立できるか？
• RQ4 実際の実装において、SGD、ヘッセフリー、KFAC手法と比較して、これらの手法は学習速度、損失の低減、一般化性能の点でどのように差をつけるか？
• RQ5 提案手法は、学習率の手動チューニングなしに、性能を維持または向上させることができるか？

主な発見

• SMW-GN法は、全テストデータセットにおいて、Hessian-free（HF）手法よりも学習エポック数とクロックタイムの両面で一貫して優れた性能を示す。
• SMW-GN法は、学習率を慎重に設定した場合でもSGDよりも収束が速く、ハイパーパrameterチューニングなしで競争力のある性能を発揮する。
• CIFAR-10データセットでは、KFACはワイドレイヤー構造のネットワークで著しく遅延を示すが、SMW-GN法は安定した性能を維持する。
• MNISTでは、固定学習率0.1でもSMW-GN法はSGDよりも低い訓練損失に早く到達し、ロバスト性を示す。
• 慎重な学習率チューニングを経てSGDはMNISTで第二階層手法と同等の性能を達成できるが、SMW-GN法はチューニングなしで同程度またはより優れた結果を達成する。
• SMW-GNおよびSMW-NGの半確率的バージョンは停留点への収束が証明されており、実用的応用における理論的保証を提供する。