[論文レビュー] Natasha: Faster Non-Convex Stochastic Optimization Via Strongly Non-Convex Parameter

Zeyuan Allen-Zhu|arXiv (Cornell University)|Feb 2, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用数 34

ひとこと要約

本稿では、有界な非凸性を示す非凸的有限和問題に対する、新しい確率的1階最適化手法Natasha1を提案する。最小の負のヘッセ固有値 $σ$ を活用することで、$O(n\log(1/\varepsilon) + n^{2/3}(L^2\sigma)^{1/3}/\varepsilon^2)$ の改善された勾配複雑度を達成し、$\sigma > L/\sqrt{n}$ の領域において先行手法を上回る。また、$\sigma$ に応じた収束速度の二分法的性質を明らかにした。この手法により、深層学習やロジスティック回帰などの非凸的機械学習問題において、近似停留点への収束が高速化される。

ABSTRACT

Given a nonconvex function that is an average of $n$ smooth functions, we design stochastic first-order methods to find its approximate stationary points. The convergence of our new methods depends on the smallest (negative) eigenvalue $-σ$ of the Hessian, a parameter that describes how nonconvex the function is. Our methods outperform known results for a range of parameter $σ$, and can be used to find approximate local minima. Our result implies an interesting dichotomy: there exists a threshold $σ_0$ so that the currently fastest methods for $σ>σ_0$ and for $σ

研究の動機と目的

• 大規模機械学習に一般的に見られる非凸的有限和最適化問題における近似停留点の探索という課題に対処すること。
• 非凸最適化の分析を精緻化し、最小の負のヘッセ固有値を表すパラメータ $\sigma$ を導入して非凸性を定量化すること。
• 非凸性パラメータ $\sigma$ の値に応じて収束速度を調整できる、より高速なオフライン確率的最適化手法を開発すること。
• 最適収束挙動における二分法的性質を確立すること：$\sigma < L/\sqrt{n}$ の場合は $n^{3/4}$ スケーリング、$\sigma > L/\sqrt{n}$ の場合は $n^{2/3}$ スケーリング。
• $(\ell_1,\ell_2)$-スムーズ関数を扱えるように一般化し、主成分分析や行列学習などの応用分野での性能向上を図ること。

提案手法

• Natasha1 は、加速手法にインspされた可変ステップサイズとモーメンタムを備えたバリアンス低減型確率的勾配法を用いる。非凸設定に特化して最適化されている。
• アルゴリズムは、$F(x)$ を $F(x) + \frac{\sigma}{2}\|x\|^2$ に修正する正則化された部分問題を組み込み、効果的に $\sigma$-強凸的になるようにする。
• 停留性条件 $\|\mathcal{G}(x)\| \leq \varepsilon$ を定義するために、新規の勾配マッピング $\mathcal{G}(x)$ を採用し、近似臨界点への収束を保証する。
• 非凸性パラメータ $\sigma$ に応じて動的に調整され、$\sigma$ が $L/\sqrt{n}$ より大きい場合に高速収束を達成する。
• 洗練された設定では、$\ell_1, \ell_2$ という異なるヘッセの上界・下界を持つ関数を扱えるように、Natasha1full が拡張され、構造的問題における複雑度が向上する。
• 分析には、勾配ノルムの減衰を制御するための新規ポテンシャル関数と再帰的誤差バウンドを用い、より緊密な収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 有界非凸性パラメータ $\sigma$ を活用することで、非凸的有限和問題に対するより高速な確率的1階最適化手法を設計できるか？
• RQ2 非凸的オフライン最適化の最適収束速度に、$\sigma < L/\sqrt{n}$ か $\sigma > L/\sqrt{n}$ かに応じた根本的な二分法的性質が存在するか？
• RQ3 repeatSVRG らしい既存手法を上回る、$\sigma$ に適応する tighter な勾配複雑度を導出できるか？
• RQ4 非凸性パラメータ $\sigma$ が小さいか大きい場合に、Natasha1 の勾配複雑度は既存手法と比べてどのように異なるか？
• RQ5 主成分分析や行列学習などの応用分野において、$(\ell_1,\ell_2)$-スムーズ関数を扱えるように一般化できるか？

主な発見

• Natasha1 は、$\sigma > L/\sqrt{n}$ の場合に、$O(n\log(1/\varepsilon) + n^{2/3}(L^2\sigma)^{1/3}/\varepsilon^2)$ の勾配複雑度を達成し、先行手法を上回る。
• この手法により、二分法的性質が明らかになった：$\sigma < L/\sqrt{n}$ の場合は最適レートが $n^{3/4}$ スケーリング、$\sigma > L/\sqrt{n}$ の場合は $n^{2/3}$ スケーリングとなる。
• 洗練された $(\ell_1,\ell_2)$-スムーズ設定では、$\ell_1\ell_2/\sigma^2 \leq n^2$ の条件下で、Natasha1full は $O(n\log(1/\varepsilon) + n^{2/3}(\ell_1\ell_2\sigma)^{1/3}/\varepsilon^2)$ の複雑度を達成する。
• 非凸性パラメータ $\sigma = L$ の場合、SVRG の最良既知レートと一致するが、解析はより単純で、中間的な $\sigma$ 値でも優れた性能を発揮する。
• シフト・アンド・インバートPCA などの応用では、$\ell_1 \ll \ell_2$ であり、$n \geq \ell_1\ell_2/\sigma^2$ のとき、Natasha1full は repeatSVRG より顕著に優れた性能を示す。
• 任意の $\varepsilon$-近似停留点は、$(\varepsilon,\sigma)$-近似局所最小点であることが保証され、$\nabla^2 f(x) \succeq -\sigma I$ を満たす。これは強力な構造的保証である。