[論文レビュー] On the saddle point problem for non-convex optimization

Razvan Pascanu, Yann Dauphin+2 more|arXiv (Cornell University)|May 19, 2014

Stochastic Gradient Optimization Techniques参考文献 18被引用数 70

ひとこと要約

この論文は、深層学習における高次元非凸最適化において、局所的最小値ではなくサドル点が主な障壁であると主張している。特に、ヘッセ行列固有値の絶対値を用いることでサドル点から迅速に脱出できるようにした、鞍自由ニュートン法を提案しており、小さなMNIST変種における予備実験で優れた収束性能を示している。

ABSTRACT

A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for the ability of these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, and neural network theory, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new algorithm, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep neural network training, and provide preliminary numerical evidence for its superior performance.

研究の動機と目的

• 非凸最適化における主な障壁が局所的最小値であるという一般的な信念に挑戦し、高次元空間ではサドル点が支配的であると主張すること。
• 高次元誤差関数面におけるサドル点や平坦領域の周辺における最適化アルゴリズムの幾何学的・動的挙動を分析すること。
• 第二階微分の曲率情報の新しい使い方を用いて、サドル点を効率的に脱出できる新しい最適化アルゴリズムを開発すること。
• 鞍自由ニュートン法を用いて、深層ニューラルネットワークの損失関数面におけるサドル点の多様性に関する理論的予測を実証的に検証すること。
• サドル点近傍でのニュートン型手法の不安定性に対処することで、深層学習におけるスケーラブルな第二階最適化の基盤を提供すること。

提案手法

• 標準的なニュートン更新を修正し、ヘッセ行列を元のヘッセ行列の固有値の絶対値をとった行列に置き換えることで、サドル点から脱出を促進する鞍自由ニュートン法を提案する。
• 信頼領域フレームワークを用い、各方向におけるステップサイズを一次近似誤差と二次近似誤差の比によって決定することで、二次モデルの信頼性を保証する。
• Theano深層学習フレームワークを用いて、ダウンサンプリングされたMNISTデータセット（$10 \times 10$ピクセル）上で、小さなフィードフォワードニューラルネットワークを訓練する。
• 鞍自由ニュートン法を用いて近接する臨界点を探索するパスフォローリング戦略を採用し、ヘッセ固有値スペクトルと臨界点の種類の実証的分析を可能にする。
• 200回の臨界点探索を実施：100回は鞍自由法の初期学習ステップからのパラメータ周辺、残り100回は一様にサンプリングされた重みから行い、臨界点の分布を評価する。
• 発見された臨界点におけるヘッセ固有値分布を分析し、特にゼロ固有値の周辺での平坦領域や退化構造を検出するために、対数スケールのプロットを用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元非凸最適化問題、特に深層学習において、サドル点は局所的最小値よりも顕著に多いのか？
• RQ2 勾配降下法や準ニュートン法といった標準的手法は、平坦領域を伴う高次元サドル点の周辺でどのように振る舞うのか？
• RQ3 曲率情報を修正することで、サドル点から能動的に脱出できる第二階微分法を設計できるか？
• RQ4 ランダム行列理論や統計物理学（例：BrayとDean, 2007）の理論的予測が、実際の深層学習損失関数面においてどの程度成立するのか？
• RQ5 実際の応用において、鞍自由ニュートン法は、標準的な第一・第二階最適化手法に比べて、収束速度が速く、サドル点からの脱出が優れていると言えるか？

主な発見

• 高次元空間では、誤差の高い局所的最小値は指数的にまれであるのに対し、正負の曲率固有値を併せ持つサドル点は圧倒的に多数を占める。
• 臨界点におけるヘッセ固有値分布は理論的予測と一致しており、学習誤差が低下するにつれて負の固有値の数が増え、分布が右方にシフトし、より多くのサドル構造を示している。
• 多くの固有値がゼロに近いことが観測され、臨界点周辺に平坦領域や退化構造が存在することを示しており、最適化アルゴリズムの収束を遅くする要因となっている。
• 標準的なニュートン法とは異なり、鞍自由ニュートン法はサドル点への引きつけを回避することで、高次元サドル点から効果的に脱出できる。
• 小さなMNISTモデルにおける実証的結果から、鞍自由ニュートン法は勾配降下法や準ニュートン法に比べ、収束速度と平坦領域からの脱出性能で優れていることが示された。
• 低誤差の臨界点が主にサドル点であるという観察が、このような構造を効率的に扱えるアルゴリズムの必要性を強化している。