[論文レビュー] Second-Order Information in Non-Convex Stochastic Optimization: Power and Limitations

Yossi Arjevani, Yair Carmon+4 more|arXiv (Cornell University)|Jun 24, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、確率的勾配とヘッセ・ベクトル積みのみを用いて、$\epsilon$-近似の一次静止点を求めるために、最適な $O(\epsilon^{-3})$ のオракル複雑度を達成する、新しい確率的最適化アルゴリズムを提案する。高次手法（$p \geq 2$）でさえ、リプシッツ連続な高次導関数が存在しても、このレートを改善できないことを示すタイトな下界を確立し、確率的非凸最適化における根本的な「肘曲線効果」を明らかにする。

ABSTRACT

We design an algorithm which finds an $\\epsilon$-approximate stationary point (with $\\|\ abla F(x)\\|\\le \\epsilon$) using $O(\\epsilon^{-3})$ stochastic gradient and Hessian-vector products, matching guarantees that were previously available only under a stronger assumption of access to multiple queries with the same random seed. We prove a lower bound which establishes that this rate is optimal and---surprisingly---that it cannot be improved using stochastic $p$th order methods for any $p\\ge 2$, even when the first $p$ derivatives of the objective are Lipschitz. Together, these results characterize the complexity of non-convex stochastic optimization with second-order methods and beyond. Expanding our scope to the oracle complexity of finding $(\\epsilon,\\gamma)$-approximate second-order stationary points, we establish nearly matching upper and lower bounds for stochastic second-order methods. Our lower bounds here are novel even in the noiseless case.

研究の動機と目的

• 非凸確率的最適化における $\epsilon$-静止点および $(\epsilon,\gamma)$-2次静止点を求めるためのオラクル複雑度を同定すること。
• 確率的ヘッセ・ベクトル積みや高次情報へのアクセスが、1次手法を上回る収束を改善できるかどうかを調査すること。
• 収束に必要な確率的勾配およびヘッセ・ベクトル積みのクエリ回数に対するタイトな上界と下界を確立すること。
• 確率的設定下で高次手法（$p \geq 2$）が $O(\epsilon^{-3})$ レートを上回れるかどうかという未解決の問題を解決すること。

提案手法

• ノイズを低減するため、確率的勾配とヘッセ・ベクトル積みを用いた新しいバリアンス低減型勾配推定器を設計する。
• 適応的ステップサイズとモーメンタムを組み合わせた、確率的ヘッセ・ベクトル積みを活用する新規アルゴリズムを導入し、静止点への収束を加速する。
• バリアンスと曲率の制御を組み合わせた再帰的降下フレームワークを採用し、安定性と収束保証を維持する。
• 任意の $p$ 階の確率的手法（$p \geq 2$）の最悪ケース挙動を捉えるために、巧みなハードインスタンスを構築して下界を導出する。
• 双対性に基づく議論により、$O(\epsilon^{-3})$ 複雑度がタイトであることを示し、高次導関数の強い滑らかさとリプシッツ連続性の下でも同様に成り立つことを示す。
• 勾配のバリアンス、ヘッセのノイズ、曲率制約の間の最適なトレードオフを達成するため、パrameterチューニング戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的ヘッセ・ベクトル積みが、$\epsilon$-静止点のオラクル複雑度を $O(\epsilon^{-3})$ 未満に低下させられるか。
• RQ2 リプシッツ連続な高次導関数が存在しても、確率的非凸最適化において高次手法（$p \geq 2$）による改善の根本的限界は存在するか。
• RQ3 $(\epsilon,\gamma)$-2次静止点を求める際、勾配とヘッセ・ベクトル積みのクエリ複雑度の最適なトレードオフは何か。
• RQ4 確率的ヘッセ推定値のノイズが、2次手法を超える改善を妨げるか。
• RQ5 $(\epsilon,\gamma)$-SOSPsの探索において、オラクル複雑度は $\gamma$ に対してどのようにスケーリングされるか。また、そのスケーリングを効率的なアルゴリズムが再現できるか。

主な発見

• 提案アルゴリズムは、$\epsilon$-静止点を求めるために、$O(\epsilon^{-3})$ の確率的勾配およびヘッセ・ベクトル積みの複雑度を達成し、より強い仮定下での既知の最良レートと一致する。
• 一致する $\Omega(\epsilon^{-3})$ の下界が証明され、$p \geq 2$ の任意の確率的 $p$ 階手法が、このレートを上回ることは不可能であることが示される。
• $(\epsilon,\gamma)$-SOSPsに対しては、$O(\epsilon^{-3} + \epsilon^{-2}\gamma^{-2} + \gamma^{-5})$ のクエリ複雑度を達成し、$\Omega(\epsilon^{-3} + \gamma^{-5})$ の下界にほぼ一致する。
• ノイズのない状況でも下界が成立し、2次手法の根本的な複雑度の障壁を確立する。
• 解析により、確率的最適化における「肘曲線効果」が明らかになる：1次手法の $\epsilon^{-4}$ から2次手法の $\epsilon^{-3}$ へ急激に複雑度が低下するが、$p \geq 2$ ではさらなる改善は生じない。
• 強い滑らかさ仮定が存在しても、確率的設定下では高次情報が2次手法を上回る改善に寄与しないことが示される。