[論文レビュー] Finding Approximate Local Minima Faster than Gradient Descent

Naman Agarwal, Zeyuan Allen-Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

この論文では、次元および学習サンプルサイズに線形に依存する時間でε-近似局所最小値を求める、非凸な2次最適化アルゴリズムであるFastCubicを紹介する。勾配降下法よりも速い収束を達成しており、Hessian-ベクトル積と加速サブルーチンを活用することで、勾配降下法よりも収束が速くなる。これは、深層ニューラルネットワーク学習を含む滑らかな非凸問題において、理論的に最適な実行時間を持つ。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究の動機と目的

• 非凸最適化における近似局所最小値を求める、理論的に効率的なアルゴリズムの設計。これは現代の機械学習における中心的課題である。
• 勾配降下法のような1次最適化手法が臨界点を特定する際に直面する1/ε²収束のボトルネックを克服すること。
• 局所最小値ではなく臨界点のみを求める場合ですら、勾配降下法よりも速い実行時間の達成。
• 標準的な機械学習目的関数、特に深層ニューラルネットワーク学習に適用可能な汎用アルゴリズムの提供。
• 2次滑らか関数における次元とサンプルサイズに線形にスケーリングする理論的実行時間境界の確立。

提案手法

• アルゴリズムFastCubicは、Hessian-ベクトル積を用いてニュートンステップを効率的に近似する立方体正則化フレームワークを採用する。
• 各反復で立方体モデルを最小化するために、ネステロフ風の加速に基づく加速サブプロブレムソルバーを採用する。
• 立方体モデルにおける十分な減少を保証する正則化パラメータを計算するために、二分探索手順を用いる。
• 負の曲率を検出するために、パワー法およびシフト・インバース技術を用いた近似固有ベクトル計算を活用する。
• 多くの機械学習問題において、Hessian-ベクトル積はO(d)時間で計算可能であり、次元とサンプルサイズに線形依存を実現する。
• 線形システムの解法コストによって上限が定まる、プリコンディショニング付き反復ソルバーによる近似行列逆行列計算を用いる。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法よりも速く近似局所最小値を求める2次最適化アルゴリズムを設計可能か？
• RQ2 標準的な滑らかさ仮定の下で、非凸最適化において次元とサンプルサイズに線形時間で収束するか？
• RQ3 臨界点のみを求める場合でも、2次最適化手法が1次最適化手法を上回れるか？
• RQ4 非凸設定において、近似局所最小値を求める際の精度εと実行時間の最適なトレードオフは何か？
• RQ5 深層学習のような大規模機械学習問題において、Hessian-ベクトル積をどのように効率的に活用できるか？

主な発見

• 有限和問題において、FastCubicは時間 Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴) でε-近似局所最小値を求める。これは、臨界点を求める勾配降下法のO(nd/ε²)よりも速い。
• 一般非凸問題では、実行時間は Õ(1/ε⁷ᐟ⁴ · Th) であり、ThはHessian-ベクトル積を計算する時間である。
• 臨界点を求めるあらゆる先行手法よりも速い収束レートを達成しており、1次最適化手法の1/ε²の壁を破った。
• ニューラルネットワーク学習では、FastCubicは Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴) 時間で実行され、Hessian-ベクトル積はO(d)時間で計算可能である。
• 近似局所最小値の勾配およびヘッセ行列条件を保証する：‖∇f(x)‖ ≤ ε および ∇²f(x) ⪰ −√εI。
• 理論的解析により、アルゴリズムの実行時間は線形システムの解法に支配され、プリコンディショニング付き反復法による行列逆行列および固有ベクトル近似のコストが上限に達する。