[論文レビュー] Identifying and attacking the saddle point problem in high-dimensional non-convex optimization

Yann Dauphin, Razvan Pascanu+4 more|arXiv (Cornell University)|Jun 10, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 461

ひとこと要約

この論文は、高次元非凸最適化における主な障害が局所的最小値ではなく鞍点であると特定し、絶対値の逆ヘッセ行列を用いて勾配をスケーリングすることで、鞍点から迅速に脱出するための鞍点フリー・ニュートン法を提案する。この手法は、深層および再帰的ニューラルネットワークの学習において、勾配降下法や準ニュートン法を上回り、ベンチマークタスクでより低いテスト誤差とより速い収束を達成する。

ABSTRACT

A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, neural network theory, and empirical evidence, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new approach to second-order optimization, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep or recurrent neural network training, and provide numerical evidence for its superior optimization performance.

研究の動機と目的

• 高次元非凸最適化において、局所的最小値が主な障害であるという従来の考えを挑戦すること。
• 次元が高くなると指数関数的に増加するため、鞍点が局所的最小値よりも顕著な障壁であることを示すこと。
• 従来の準ニュートン法とは異なり、曲率情報を別様に活用することで、鞍点を効率的に脱出できる2次最適化手法を開発すること。
• ニューラルネットワークの損失関数における臨界点のインデックスと誤差レベルの相関に関する理論的予測を実証的に検証すること。
• 標準的手法と比較して、深層および再帰的ニューラルネットワークにおける最適化性能が、鞍点フリー・ニュートン法によって向上することを示すこと。

提案手法

• 鞍点から脱出できるように、勾配ステップを絶対値の逆ヘッセ行列でスケーリングする鞍点フリー・ニュートン法を提案する。
• 損失関数を2次的に近似する代わりに、曲率に基づいて信頼領域の形状を定義する一般化された信頼領域フレームワークを用いる。
• ニューラルネットワークの誤差関数における任意のインデックス（負のヘッセ固有値の割合）を持つ臨界点を探索するための数値的手法を採用する。
• 学習が停滞した段階でSGDから鞍点フリー・ニュートン法に切り替えることで、深層および再帰的ニューラルネットワークを訓練する。
• 完全なヘッセ行列の計算が非現実的となる高次元設定において、ヘッセ・ベクトル積を近似するために切り詰めたクリロフ部分空間法を用いる。
• 安定性と効率性を保ちながら、鞍点から離れていても動作する信頼領域アプローチを実装する。

実験結果

リサーチクエスチョン

• RQ1 高次元非凸最適化問題において、鞍点は局所的最小値よりも顕著に多いのか？
• RQ2 大きな曲率プラトーを示す高誤差の鞍点が、勾配ベース最適化を著しく遅くするのか？
• RQ3 準ニュートン法とは異なる方法で曲率情報を活用することで、鞍点から迅速に脱出できる2次最適化手法を設計できるのか？
• RQ4 ニューラルネットワークの損失関数における臨界点において、インデックス（負のヘッセ固有値の割合）と誤差レベルの間に強い正の相関があるのか？
• RQ5 深層および再帰的ニューラルネットワークにおいて、鞍点フリー・ニュートン法は標準的な最適化アルゴリズムよりも収束が速く、一般化性能が優れているのか？

主な発見

• 高次元非凸最適化において、鞍点は局所的最小値よりも指数関数的に多く、特に高誤差レベルで顕著である。
• 高誤差の臨界点はほとんどが鞍点であり、誤差が増加するにつれて負の曲率方向の割合が増加する傾向にあり、ランダム行列理論の予測と整合的である。
• MNISTデータセットにおいて、鞍点フリー・ニュートン法は0.57のテスト誤差を達成し、Hessian-Free法が達成した過去最高の0.69を上回った。
• 再帰的ニューラルネットワークを用いた文字レベルの言語モデリングにおいて、SGDから鞍点フリー・ニュートン法に切り替えることで誤差が著しく低下し、鞍点周辺のプラトーからの脱出が確認された。
• 鞍点フリー・ニュートン法が得た解は、SGDの解よりも負の固有値が少なかったため、高誤差の鞍点領域からの脱出能力が裏付けられた。
• 減衰付きの切り詰めたニュートン法は、SGDの収束停滞後に性能向上が得られなかったため、本手法が鞍点プラトーの到達を効果的に処理できることを示している。