[論文レビュー] ANITA: An Optimal Loopless Accelerated Variance-Reduced Gradient Method

Zhize Li|arXiv (Cornell University)|Mar 21, 2021

Stochastic Gradient Optimization Techniques参考文献 66被引用数 7

ひとこと要約

本稿では、有限和最適化のための新しい最適でループのない加速分散低減勾配法であるANITAを提案する。動的マルチステージ収束解析を用いることで、一般凸問題では$O(n)$、強凸問題では$O\big{(}(n+\mathrm{\frac{nL}{\theta}})\log\frac{1}{\epsilon}\big{)}$という最適収束レートを達成し、Varag や Katyusha といった先行手法を理論的・実用的両面で上回る。

ABSTRACT

In this paper, we propose a novel accelerated gradient method called ANITA for solving the fundamental finite-sum optimization problems. Concretely, we consider both general convex and strongly convex settings: i) For general convex finite-sum problems, ANITA improves previous state-of-the-art result given by Varag (Lan et al., 2019). In particular, for large-scale problems or the convergence error is not very small, i.e., $n \geq \frac{1}{ε^2}$, ANITA obtains the \emph{first} optimal result $O(n)$, matching the lower bound $Ω(n)$ provided by Woodworth and Srebro (2016), while previous results are $O(n \log \frac{1}ε)$ of Varag (Lan et al., 2019) and $O(\frac{n}{\sqrtε})$ of Katyusha (Allen-Zhu, 2017). ii) For strongly convex finite-sum problems, we also show that ANITA can achieve the optimal convergence rate $O\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ matching the lower bound $Ω\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ provided by Lan and Zhou (2015). Besides, ANITA enjoys a simpler loopless algorithmic structure unlike previous accelerated algorithms such as Varag (Lan et al., 2019) and Katyusha (Allen-Zhu, 2017) where they use double-loop structures. Moreover, we provide a novel \emph{dynamic multi-stage convergence analysis}, which is the key technical part for improving previous results to the optimal rates. We believe that our new theoretical rates and novel convergence analysis for the fundamental finite-sum problem will directly lead to key improvements for many other related problems, such as distributed/federated/decentralized optimization problems (e.g., Li and Richtárik, 2021). Finally, the numerical experiments show that ANITA converges faster than the previous state-of-the-art Varag (Lan et al., 2019), validating our theoretical results and confirming the practical superiority of ANITA.

研究の動機と目的

• 一般凸および強凸設定下での有限和最適化における最適収束レートのギャップを埋める。
• 加速分散低減手法における二重ループ構造の必要性を排除し、実装および解析の複雑さを軽減する。
• 一般凸および強凸両ケースにおいて、既知の下界と一致する最適な収束複雑度を達成する。
• よりタイトなレートバインディングとアルゴリズムの単純化を可能にする、新しい動的マルチステージ収束解析フレームワークを開発する。
• 数値実験を通じて、Varag などの最先端手法との理論的利点を実証的に検証する。

提案手法

• 有限和問題 $\min_x \frac{1}{n}\sum_{i=1}^n f_i(x)$ を対象とする、ANITA と呼ばれる新しい加速勾配法を提案する。
• 反復ごとにステップサイズと確率を適応的に変更することで最適レートを達成する、動的マルチステージ収束解析フレームワークを導入する。
• Varag や Katyusha のような先行二重ループアルゴリズムとは異なり、ネストのない単一ループ構造を採用し、実装と解析の複雑さを軽減する。
• 収束と分散低減のバランスを取るために、$\theta_t = \frac{1}{2}\min\{1, \sqrt{\frac{\mu}{p_t L}}\}$ と適応的確率 $p_t$ を含む新しいパrameterization を採用する。
• 進行状況と強凸ケースにおける線形収束の確立のため、Lyapunov 関数 $\Phi_t = f(w_t) - f(x^*) + \frac{(1 + \mu\eta_t)p_t\theta_t}{2\eta_t}\|x_t - x^*\|^2$ を導出する。
• 最適パラメータ設定下で $\mathbb{E}[\Phi_t] \leq (1 - \frac{4p\theta}{5})^t \Phi_0$ を示す、$\mathbb{E}[\Phi_t]$ におけるテレスコピング不等式を用いて収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般凸有限和問題において、ループのない加速分散低減手法が $O(n)$ の複雑度を達成でき、$\Omega(n)$ の下界と一致するか。
• RQ2 強凸問題における収束レートが $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$ に最適化され、既知の下界と一致するか。
• RQ3 二重ループ構造を排除しつつ、最適な収束レートを維持し、実装を単純化できるか。
• RQ4 異なる問題設定に適応可能な、よりタイトなバインディングを可能にする動的マルチステージ収束解析フレームワークを構築できるか。
• RQ5 提案された ANITA 法が、理論的複雑度および実験的収束速度の両面で、Varag や Katyusha などの最先端手法を上回るか。

主な発見

• 一般凸有限和問題において、ANITA は $O(n)$ の確率的勾配複雑度を達成し、Woodworth と Srebro (2016) が示した $\Omega(n)$ の下界と一致する。これは、以前の $O(n\log\frac{1}{\epsilon})$ や $O(\frac{n}{\sqrt{\epsilon}})$ の結果を改善する。
• 強凸問題において、ANITA は $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$ の最適収束レートを達成し、Lan と Zhou (2015) が示した $\Omega\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$ の下界と一致する。
• ANITA は、Varag や Katyusha のような先行加速手法に見られる二重ループ構造を排除し、より単純なループなしのアルゴリズム設計を実現する。
• 動的マルチステージ収束解析が、最適なレートを達成するための主要な技術的イノベーションであり、Lyapunov 関数と分散低減の両方をより厳密に制御する。
• 数値実験により、ANITA が以前の最先端手法である Varag よりも高速に収束することが確認され、実用的優位性が裏付けられる。
• 理論的最適性と単純さから、分散型・フェデレーテッド・分散型最適化などの関連分野への直接的応用と改善が期待される。