[論文レビュー] Optimal Finite-Sum Smooth Non-Convex Optimization with SARAH.

Lam M. Nguyen, Marten van Dijk+4 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 17

ひとこと要約

この論文は、わずかな修正を加えたSARAHアルゴリズムが、Lipschitz勾配仮定の下で、有限和の滑らかで非凸な最適化において、1階の停留在点を求める際の最適な複雑度 $ olimits\sqrt{n}/\epsilon$ を達成することを証明している。SARAHは、理論的下界に一致する最初のバリアンス低減法であることが示され、従来の手法よりも優れていることを示している。

ABSTRACT

The total complexity (measured as the total number of gradient computations) of a stochastic first-order optimization algorithm that finds a first-order stationary point of a finite-sum smooth nonconvex objective function $F(w)=\frac{1}{n} \sum_{i=1}^n f_i(w)$ has been proven to be at least $\Omega(\sqrt{n}/\epsilon)$ where $\epsilon$ denotes the attained accuracy $\mathbb{E}[ \| abla F( ilde{w})\|^2] \leq \epsilon$ for the outputted approximation $ ilde{w}$ (Fang et al.,2018). This paper is the first to show that this lower bound is tight for the class of variance reduction methods which only assume the Lipschitz continuous gradient assumption. We prove this complexity result for a slightly modified version of the SARAH algorithm in (Nguyen et al.,2017a;b) - showing that SARAH is optimal and dominates all existing results. For convex optimization, we propose SARAH++ with sublinear convergence for general convex and linear convergence for strongly convex problems; and we provide a practical version for which numerical experiments on various datasets show an improved performance.

研究の動機と目的

• バリアンス低減法における非凸な有限和最適化の既知の下界と達成可能な複雑度のギャップを埋めること。
• わずかに修正された形のSARAHアルゴリズムが、滑らかで非凸な問題において理論的下界 $\Omega(\sqrt{n}/\epsilon)$ を達成することを証明すること。
• Lipschitz連続勾配仮定の下で、バリアンス低減法の中でSARAHの最適性を確立すること。
• 一般凸および強凸の場合にそれぞれ、サブ線形収束と線形収束を達成するSARAH++を提案することで、フレームワークを凸最適化に拡張すること。
• SARAH++の実用的バージョンを開発し、実データセットを用いた数値実験によりその性能を検証すること。

提案手法

• SARAHアルゴリズムの修正版が導入され、コアとなる再帰的バリアンス低減メカニズムを保ちつつ、非凸設定下での最適収束を保証する。
• 期待される勾配ノルムの上限を求めるために、Lipschitz連続勾配仮定に依存した解析が行われる。
• アルゴリズムは、制御変数を用いて全勾配の再帰的推定を維持し、確率的勾配更新における分散を低減する。
• 凸問題のため、SARAH++は適応的ステップサイズを採用し、一般凸目的関数ではサブ線形収束、強凸の場合には線形収束を達成するように設計されている。
• 実用的実装として、ラインサーチと適応的学習率戦略を組み込んだSARAH++の実装が提案されている。
• 反復回数に伴う勾配ノルムの減衰を追跡する新しい解析フレームワークを用いて、理論的複雑度バウンドが導出されている。

実験結果

リサーチクエスチョン

• RQ1 バリアンス低減法が、非凸な有限和最適化において $\Omega(\sqrt{n}/\epsilon)$ の理論的下界を達成できるか。
• RQ2 修正された形のSARAHが、滑らかで非凸な有限和最適化問題において、バリアンス低減アルゴリズムの中で最適か。
• RQ3 SARAHフレームワークは、理論的収束保証のもとで凸最適化に拡張可能か。
• RQ4 提案されたSARAH++の実用的バージョンは、実験的評価において既存手法を上回る性能を示すか。
• RQ5 再帰的バリアンス低減メカニズムと複雑度バウンドのタイトさの関係は何か。

主な発見

• 修正されたSARAHアルゴリズムは、滑らかで非凸な有限和最適化問題において、1階の停留在点を求める際の最適な複雑度 $\Omega(\sqrt{n}/\epsilon)$ を達成する。
• この複雑度バウンドはタイトであることが証明されており、同様の仮定の下では、いかなるバリアンス低減法もより良い性能を達成できないことが示されている。
• SARAHは、理論的下界に一致する最初のアルゴリズムであり、バリアンス低減法の中で最適性を示している。
• 凸問題において、SARAH++は一般凸目的関数ではサブ線形収束、強凸の場合には線形収束を達成する。
• 数値実験において、SARAH++の実用的バージョンは、さまざまな実世界のデータセットで改善された性能を示している。
• 理論的解析により、SARAHにおける再帰的勾配推定が最適なバリアンス低減を保証し、タイトな複雑度バウンドを可能にしていることが確認された。