[論文レビュー] Lower Bounds for Smooth Nonconvex Finite-Sum Optimization

Dongruo Zhou, Quanquan Gu|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用数 7

ひとこと要約

この論文は、滑らかで非凸な有限和最適化における段階的1階オракル（IFO）複雑度のタイトな下界を確立し、KatyushaX、Natasha、RapGrad、StagewiseKatyushaなどの既存のアルゴリズムが、ヘッセ行列固有値のさまざまな範囲において、対数要因を除いて最適なIFO複雑度を達成していることを証明している。結果として、一般の滑らかさ仮定の下でこれらの手法の最適性が解消された。

ABSTRACT

Smooth finite-sum optimization has been widely studied in both convex and nonconvex settings. However, existing lower bounds for finite-sum optimization are mostly limited to the setting where each component function is (strongly) convex, while the lower bounds for nonconvex finite-sum optimization remain largely unsolved. In this paper, we study the lower bounds for smooth nonconvex finite-sum optimization, where the objective function is the average of $n$ nonconvex component functions. We prove tight lower bounds for the complexity of finding $ε$-suboptimal point and $ε$-approximate stationary point in different settings, for a wide regime of the smallest eigenvalue of the Hessian of the objective function (or each component function). Given our lower bounds, we can show that existing algorithms including KatyushaX (Allen-Zhu, 2018), Natasha (Allen-Zhu, 2017), RapGrad (Lan and Yang, 2018) and StagewiseKatyusha (Chen and Yang, 2018) have achieved optimal Incremental First-order Oracle (IFO) complexity (i.e., number of IFO calls) up to logarithm factors for nonconvex finite-sum optimization. We also point out potential ways to further improve these complexity results, in terms of making stronger assumptions or by a different convergence analysis.

研究の動機と目的

• 従来の研究が主に凸または強凸な設定に焦点を当てていたのに対し、滑らかな非凸的有限和最適化における下界の理論的理解のギャップを埋めること。
• 非凸的有限和問題において、ε-最適解およびε-近似停留点を求める際のIFO複雑度の根本的限界を確立すること。
• ヘッセ行列の最小固有値（l）がアルゴリズムの複雑度に与える影響を分析すること。これには、凸的および非凸的両領域をカバーする。
• 導出された下界と比較することで、既存の最先端アルゴリズムのIFO複雑度の最適性を検証すること。
• より強い仮定や洗練された収束解析によって、さらなる改善の可能性を同定すること。

提案手法

• 特定の滑らかさおよびヘッセ行列固有値特性を持つ有限和問題を巧みに設計し、下界を導出する。
• 関数のスケーリングと変換を用いて、既知の凸最適化における困難な問題を非凸的有限和設定に還元するフレームワークを用いる。
• 一般の1階手法をモデル化し、複雑度の下界を導出するために、線形スパン1階確率的アルゴリズムの概念を適用する。
• 関数のスケーリング（f_i = λ·f̄_i(x/β)）を用いた変換により、滑らかさおよびヘッセ構造を保持しつつ、関数値と距離を調整する。
• 反復点におけるサポート集合およびスパarsityの性質を活用し、十分な数のIFO呼び出しを行わない場合、サブオプティマル性が大きくまたは勾配ノルムが高くなることを示す。
• （l, L）滑らかさの下で、ε-最適解（凸/強凸ケース）およびε-近似停留点（非凸ケース）の両方に対して下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな非凸的有限和最適化において、ε-最適解を求めるためのIFO複雑度のタイトな下界は何か？
• RQ2 最小ヘッセ固有値（l）は、非凸的有限和問題における根本的複雑度限界にどのように影響を与えるか？
• RQ3 KatyushaX、Natasha、RapGrad、StagewiseKatyushaなどの既存のアルゴリズムは、非凸的有限和問題においてIFO複雑度の観点で最適か？
• RQ4 より強い仮定や異なる収束解析により、1階手法のIFO複雑度をさらに改善できるか？
• RQ5 ヘッセ構造および関数変換は、非凸的有限和問題における下界の導出において果たす役割は何か？

主な発見

• σ-強凸的Fの場合、ε-最適解を求めるための下界がΩ(n + n^{3/4}√(L/σ) log(1/ε))であることを証明し、これはKatyushaXのIFO複雑度と対数要因を除いて一致する。
• 凸的F（l ≥ 0）の場合、下界はΩ(n + n^{3/4}√(L/ε))であり、これはDualityなしのSDCAおよびKatyushaXの複雑度と一致する。
• 非凸的F（l = -σ < 0）の場合、ε-近似停留点を求めるための下界はΩ((nσ + √(nσL))/ε²)であり、これはRapGradおよびStagewiseKatyushaの複雑度と一致する。
• 下界は、最小ヘッセ固有値lの広範な範囲においてタイトであり、凸的および非凸的両ケースをカバーする。
• 既存のアルゴリズム、KatyushaX、Natasha、RapGrad、StagewiseKatyushaが、IFO複雑度において対数要因を除いて最適であることが確認された。
• 論文は、より強い仮定や代替の収束解析手法の使用によって、さらなる改善が可能である可能性を同定した。