[論文レビュー] On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|Sep 25, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 16

ひとこと要約

本稿では、勾配ノルムに比例する精度で最小固有ベクトルの近似を要件とすることで、非凸最適化におけるヘシアン・ベクトル積の計算回数を削減する、新たなノイズ付き負の曲率降下法を提案する。この手法は勾配降下法と同等の収束速度を達成し、文献で最も良いとされる時間計算量を達成する一方で、サンプルサイズに依存しない複雑さを持つ確率的バージョンの導入も可能である。

ABSTRACT

The Hessian-vector product has been utilized to find a second-order stationary solution with strong complexity guarantee (e.g., almost linear time complexity in the problem's dimensionality). In this paper, we propose to further reduce the number of Hessian-vector products for faster non-convex optimization. Previous algorithms need to approximate the smallest eigen-value with a sufficient precision (e.g., $ε_2\ll 1$) in order to achieve a sufficiently accurate second-order stationary solution (i.e., $λ_{\min}( abla^2 f(\x))\geq -ε_2)$. In contrast, the proposed algorithms only need to compute the smallest eigen-vector approximating the corresponding eigen-value up to a small power of current gradient's norm. As a result, it can dramatically reduce the number of Hessian-vector products during the course of optimization before reaching first-order stationary points (e.g., saddle points). The key building block of the proposed algorithms is a novel updating step named the NCG step, which lets a noisy negative curvature descent compete with the gradient descent. We show that the worst-case time complexity of the proposed algorithms with their favorable prescribed accuracy requirements can match the best in literature for achieving a second-order stationary point but with an arguably smaller per-iteration cost. We also show that the proposed algorithms can benefit from inexact Hessian by developing their variants accepting inexact Hessian under a mild condition for achieving the same goal. Moreover, we develop a stochastic algorithm for a finite or infinite sum non-convex optimization problem. To the best of our knowledge, the proposed stochastic algorithm is the first one that converges to a second-order stationary point in {\it high probability} with a time complexity independent of the sample size and almost linear in dimensionality.

研究の動機と目的

• 非凸最適化において2次停留所に到達するためのヘシアン・ベクトル積の計算回数を削減すること。
• 収束速度において勾配降下法と効果的に競合しつつ、強力な理論的計算量保証を維持するアルゴリズムを開発すること。
• 収束が2次停留所に到達することを損なわずに、弱い条件下で不正確または部分的にサンプルされたヘシアンを用いることの有効性を保証すること。
• 有限または無限和問題に対する確率的アルゴリズムを設計し、サンプルサイズに依存しない時間計算量で2次停留所に収束すること。
• 計算コストを低減したノイズ付き負の曲率降下法の下で、2次停留所への収束を理論的に保証すること。

提案手法

• ヘシアンの近似最小固有ベクトルを活用して鞍点を効果的に脱出できる、NCG（ノイズ付き曲率降下）ステップをコア更新メカニズムとして導入する。
• 最小固有値の高精度近似（例：ε₂ ≪ 1）を必要とせず、現在の勾配ノルムの累乗に比例する精度要件に置き換えることで、ヘシアン・ベクトル積の呼び出し回数を大幅に削減する。
• ヘシアン近似誤差にやや弱い条件を課すことで、不正確なヘシアン（例：部分的にサンプルされたヘシアン）を用いるバリエーションを構築し、2次停留所への収束を維持する。
• 1イテレーションあたり部分的にサンプルされた勾配と、部分的にサンプルされたヘシアンのノイズ付き負の曲率を計算する確率的アルゴリズムを提案する。
• パワー法に類似した反復を用いて最小固有ベクトルを近似し、精度要件を緩和することで、1イテレーションあたりの計算コストを低減する。
• 勾配降下法とNCGステップを適応的に組み合わせることで、高価なヘシアン操作を最小限に抑えつつ、競争力のある収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 最小固有値近似の精度要件を緩和することで、非凸最適化におけるヘシアン・ベクトル積の計算回数を削減できるか？
• RQ2 ノイズ付き負の曲率降下法は、理論的保証を維持したまま、勾配降下法と同等またはそれ以上の収束速度を達成できるか？
• RQ3 有限または無限和問題に対する確率的アルゴリズムを設計し、サンプルサイズに依存しない複雑さで2次停留所に収束させることは可能か？
• RQ4 2次最適化において、不正確または部分的にサンプルされたヘシアンを、2次停留所への収束性を損なわず効果的に使用できるか？
• RQ5 2次停留所への収束を保証するための最小固有ベクトル近似の最小精度要件は何か？

主な発見

• 提案されたアルゴリズムは、文献で知られている最良の時間計算量を達成するが、1イテレーションあたりの計算コストが潜在的に小さい。
• 最小固有値近似の精度要件を ε₂ ≪ 1 から現在の勾配ノルムの小さな累乗にまで緩和することで、ヘシアン・ベクトル積の使用量を著しく削減した。
• 確率的バージョンは1イテレーションあたり部分的にサンプルされた勾配と、部分的にサンプルされたヘシアンのノイズ付き負の曲率のみを計算し、サンプルサイズに依存しない複雑さで収束を達成した。
• このアルゴリズムは、問題次元に対してほぼ線形で、かつサンプルサイズに依存しない時間計算量で、高確率で2次停留所に収束する最初の既知の確率的手法である。
• 理論的解析により、不正確なヘシアンを用いた場合でも、ヘシアン近似誤差にやや弱い条件を課せば、2次停留所への収束が保証されることを示した。
• NCGステップにより、ヘシアン・ベクトル積の回数を減らしながらも、効果的に鞍点を脱出でき、勾配降下法と効果的に競合できる。