[論文レビュー] Finding Approximate Local Minima for Nonconvex Optimization in Linear Time.

Naman Agarwal, Zeyuan Allen Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用数 39

ひとこと要約

この論文は、入力サイズに比例する線形時間で近似的な局所最小値を探索する、非凸な2次最適化アルゴリズムを提案する。勾配降下法よりも高速であり、ニューラルネットワーク学習などの一般非凸問題に適用可能で、局所最小値に到達するための証明可能な効率性を提供する。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which is linear in the input representation. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究の動機と目的

• 非凸問題に対して、入力サイズに比例する線形時間で近似的な局所最小値への収束を保証する最適化アルゴリズムの開発。
• 非凸設定における既存の2次最適化手法の計算非効率性の克服。
• 勾配降下法が唯一臨界点を求めるのに対し、証明可能な効率性を持つ代替手法の提供。
• 深層学習における一般非凸関数への実用的適用性の拡張。

提案手法

• 非凸目的関数に特化した2次最適化フレームワークを採用する。
• ヘッセ行列に基づく曲率情報を活用して、鞍点を効率的に脱出し、局所最小値に収束する。
• 入力表現サイズに比例する線形時間で収束を保証する。
• 局所曲率に基づく適応的ステップサイズを用いて収束を加速する。
• 深層学習における非凸関数を含む一般非凸関数を扱えるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 2次最適化手法は、非凸問題に対して入力サイズに比例する線形時間で近似的な局所最小値を探索できるか？
• RQ2 臨界点に到達するまでの実行時間において、提案手法は勾配降下法と比べてどう異なるか？
• RQ3 多様な非凸機械学習目的関数において、この手法は効率性と収束保証を維持できるか？
• RQ4 高い計算コストを伴わず、ニューラルネットワーク学習に効果的に適用できるか？

主な発見

• アルゴリズムは、入力サイズに比例する線形時間で近似的な局所最小値への収束を保証する。
• 勾配降下法が臨界点しか得られないのに対し、本手法はそれよりも高速に収束を達成する。
• 本手法は、ニューラルネットワーク学習を含む広範な非凸最適化問題クラスに適用可能である。
• 理論的分析により、問題クラスに対して時間計算量が最適であることが確認された。