[論文レビュー] Saving Gradient and Negative Curvature Computations: Finding Local Minima More Efficiently

Yaodong Yu, Difan Zou+1 more|arXiv (Cornell University)|Dec 11, 2017

Stochastic Gradient Optimization Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、探索空間を大きな勾配領域と小さな勾配領域に分割することで、勾配および負の曲率計算を顕著に削減する非凸最適化アルゴリズムの族を提案する。アルゴリズムは、大きな勾配領域でのみ勾配降下を実行し、小さな勾配領域では1回の負の曲率ステップのみを用いて脱出する。これにより、実行時間の複雑さが向上し、特に有限和設定において、決定的および確率的設定の両方で最先端の手法を上回る性能を達成する。

ABSTRACT

We propose a family of nonconvex optimization algorithms that are able to save gradient and negative curvature computations to a large extent, and are guaranteed to find an approximate local minimum with improved runtime complexity. At the core of our algorithms is the division of the entire domain of the objective function into small and large gradient regions: our algorithms only perform gradient descent based procedure in the large gradient region, and only perform negative curvature descent in the small gradient region. Our novel analysis shows that the proposed algorithms can escape the small gradient region in only one negative curvature descent step whenever they enter it, and thus they only need to perform at most $N_ε$ negative curvature direction computations, where $N_ε$ is the number of times the algorithms enter small gradient regions. For both deterministic and stochastic settings, we show that the proposed algorithms can potentially beat the state-of-the-art local minima finding algorithms. For the finite-sum setting, our algorithm can also outperform the best algorithm in a certain regime.

研究の動機と目的

• 高価な勾配および負の曲率計算を最小限に抑える実用的な非凸最適化アルゴリズムの設計を目的とする。
• 領域固有の降下戦略を活用することで、近似局所最小値への収束を高速化することを目的とする。
• 近似第二階停留点を求めるために、既存の第二階および第一階手法よりも実行時間の複雑さを改善することを目的とする。
• 確率的および有限和非凸最適化設定において優れた性能を示すこと。
• 1回の負の曲率ステップで十分に小さな勾配領域を脱出できることを示し、計算コストを著しく低減すること。

提案手法

• アルゴリズムは、領域を大きな勾配領域（∥∇f(x)∥₂ > ϵ）と小さな勾配領域（∥∇f(x)∥₂ ≤ ϵ）に分割する。
• 大きな勾配領域では、標準的な勾配降下またはその変種を実行する。
• 小さな勾配領域では、脱出を保証するための1回の負の曲率降下ステップのみを適用する。
• 本手法は、小さな勾配領域からの脱出に1回の負の曲率ステップで十分であることを示す新規な解析を活用しており、負の曲率計算回数は最大でNϵ回に制限される（Nϵは小さな勾配領域への進入回数）。
• 大きな勾配領域では確率的第一階オракル（例：SCSG, SVRG）を用い、小さな勾配領域では1ステップの負の曲率更新を実行する。
• 誤差伝搬と成功確率を制御するために、マーカフ不等式および集中不等式を用いた理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 勾配および負の曲率計算を顕著に削減しつつ、近似局所最小値への収束を保証する非凸最適化アルゴリズムを設計可能か？
• RQ2 小さな勾配領域への進入毎に負の曲率計算を1回のみに制限することで、実行時間の複雑さを改善可能か？
• RQ3 確率的および有限和設定において、提案手法は収束速度および計算コストの面で最先端のアルゴリズムと比較して優れているか？
• RQ4 高価なヘシアンまたはヘシアン・ベクトル積の評価を最小限に抑えながら、高い成功確率を維持可能か？
• RQ5 領域ベースの戦略（大きな勾配領域では勾配降下、小さな勾配領域では1ステップの負の曲率）が、証明可能なより良い複雑さの上限をもたらすか？

主な発見

• 確率的設定では、提案アルゴリズムの実行時間の複雑さは eO(ρ²∆f/ϵ³_H + min{ρ²∆f/ϵ³_H, Nϵ}) であり、既存手法を上回る。
• 有限和設定では、eO(L∆fn²/³/ϵ² + (n + n³/⁴L¹/²/ϵ_H¹/²)min{ρ²∆f/ϵ³_H, Nϵ}) の実行時間の複雑さを達成し、特定の領域で既存の最良手法を上回る。
• 負の曲率方向の計算回数は、小さな勾配領域への進入回数Nϵに制限され、進入毎に1回のステップのみが必要である。
• アルゴリズムは、1回の負の曲率ステップで鞍点から脱出を保証し、小さな勾配領域の効率的走破を可能にする。
• 誤差項をマーカフ不等式で制御し、内側ループの反復回数に幾何分布の境界を適用することで、成功確率を一定水準（≥2/3）に維持する。
• ヘシアンまたはヘシアン・ベクトル積の高価な評価への依存度を低減し、立方体正則化や反復的ヘシアンに基づく手法よりも実用的である。