[論文レビュー] RMSProp and equilibrated adaptive learning rates for non-convex optimization.

Yann Dauphin, Harm de Vries+2 more|arXiv (Cornell University)|Feb 15, 2015

Stochastic Gradient Optimization Techniques参考文献 7被引用数 183

ひとこと要約

本稿では、非凸最適化における負のヘッセ固有値を考慮することで、適応的学習率の性能を向上させる、アンバイアスドな確率的推定器であるESGDを提案する。RMSPropとは異なり、この前処理のバイアスのない近似であるESGDは、より正確なステップ方向を提供し、計算コストの増加が最小限であるにもかかわらず、収束速度においてRMSPropおよびSGDを上回る性能を発揮する。

ABSTRACT

Parameter-specific adaptive learning rate methods are computationally efficient ways to reduce the ill-conditioning problems encountered when training large deep networks. Following recent work that strongly suggests that most of the critical points encountered when training such networks are saddle points, we find how considering the presence of negative eigenvalues of the Hessian could help us design better suited adaptive learning rate schemes, i.e., diagonal preconditioners. We show that the optimal preconditioner is based on taking the absolute value of the Hessian's eigenvalues, which is not what Newton and classical preconditioners like Jacobi's do. In this paper, we propose a novel adaptive learning rate scheme based on the equilibration preconditioner and show that RMSProp approximates it, which may explain some of its success in the presence of saddle points. Whereas RMSProp is a biased estimator of the equilibration preconditioner, the proposed stochastic estimator, ESGD, is unbiased and only adds a small percentage to computing time. We find that both schemes yield very similar step directions but that ESGD sometimes surpasses RMSProp in terms of convergence speed, always clearly improving over plain stochastic gradient descent.

研究の動機と目的

• 深層ニューラルネットワークの学習における悪条件問題に、適応的学習率を用いて対処すること。
• 非凸設定における最適化ダイナミクスに、ヘッセ固有値の負の固有値が与える影響を調査すること。
• 古典的なニュートン法やヤコビ前処理に依存するのではなく、ヘッセ固有値の絶対値をモデル化することで、より正確な適応的学習率スキームを設計すること。
• 大規模なディープラーニングに適した、バイアスのないかつ計算的に効率的な確率的推定器を開発すること。

提案手法

• 鞍点の存在下でも最適化を安定化させるために、ヘッセ固有値の絶対値を用いる均衡化前処理を提案する。
• 均衡化前処理のアンバイアスドな確率的推定器としてESGDを導出する。これはRMSPropのバイアスのある推定を改善したものである。
• 平方勾配の移動平均を用いて、ヘッセの絶対固有値の逆数を近似する。RMSPropと同様の手法だが、バイアス補正が施されている。
• RMSPropの計算効率を維持しつつ、前処理のアンバイアス推定を保証する、新しい更新則を導入する。
• パラメータごとに学習率を調整する対角前処理戦略を採用し、均衡化原理に基づく。
• RMSPropと均衡化前処理の関係を分析し、RMSPropが理想のスキームのバイアスのある近似であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化における適応的学習率手法の性能に、ヘッセ固有値の負の固有値がどのように影響するか？
• RQ2 ヘッセ固有値の符号ではなく絶対値を考慮することで、より正確な前処理を導出できるか？
• RQ3 RMSPropは理想の前処理のバイアスのある推定であるにもかかわらず、なぜ鞍点環境で良好に機能するのか？
• RQ4 計算コストを最小限に抑えた、均衡化前処理のアンバイアスドな確率的推定器を設計できるか？
• RQ5 提案手法ESGDは、実際の応用においてRMSPropおよびSGDよりも収束が速いか？

主な発見

• ESGDは、RMSPropとは異なり、均衡化前処理のアンバイアス推定器である。
• ESGDとRMSPropは最適化過程で非常に類似したステップ方向を生成しており、RMSPropの成功は、部分的に均衡化原理を近似していることによるものであることが示唆される。
• ESGDは、テストされたすべてのシナリオにおいて、単純な確率的勾配降下法よりも一貫して収束が速い。
• ESGDは、時としてRMSPropを上回る収束速度を示し、アンバイアス推定が最適化ダイナミクスの向上に寄与することを実証している。
• ESGDの計算コストは最小限であり、RMSPropと比較してトレーニング時間に僅かに増加するにとどまる。
• ヘッセ固有値の絶対値に基づく均衡化前処理は、鞍点を有する非凸設定において、ニュートン法やヤコビ法よりも理論的に優れている。