[论文解读] ANITA: An Optimal Loopless Accelerated Variance-Reduced Gradient Method

Zhize Li|arXiv (Cornell University)|Mar 21, 2021

Stochastic Gradient Optimization Techniques参考文献 66被引用 7

一句话总结

本文提出 ANITA，一种新颖的最优、无循环加速方差缩减梯度方法，用于有限和优化。通过采用动态多阶段收敛分析，该方法在理论上实现了最优收敛速率——一般凸问题为 $O(n)$，强凸问题为 $O\big{(}(n+\frac{nL}{\theta}\big{)}\log\frac{1}{\epsilon}\big{)}$，在理论和实践中均优于先前的 Varag 和 Katyusha 等方法。

ABSTRACT

In this paper, we propose a novel accelerated gradient method called ANITA for solving the fundamental finite-sum optimization problems. Concretely, we consider both general convex and strongly convex settings: i) For general convex finite-sum problems, ANITA improves previous state-of-the-art result given by Varag (Lan et al., 2019). In particular, for large-scale problems or the convergence error is not very small, i.e., $n \geq \frac{1}{ε^2}$, ANITA obtains the \emph{first} optimal result $O(n)$, matching the lower bound $Ω(n)$ provided by Woodworth and Srebro (2016), while previous results are $O(n \log \frac{1}ε)$ of Varag (Lan et al., 2019) and $O(\frac{n}{\sqrtε})$ of Katyusha (Allen-Zhu, 2017). ii) For strongly convex finite-sum problems, we also show that ANITA can achieve the optimal convergence rate $O\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ matching the lower bound $Ω\big((n+\sqrt{\frac{nL}μ})\log\frac{1}ε\big)$ provided by Lan and Zhou (2015). Besides, ANITA enjoys a simpler loopless algorithmic structure unlike previous accelerated algorithms such as Varag (Lan et al., 2019) and Katyusha (Allen-Zhu, 2017) where they use double-loop structures. Moreover, we provide a novel \emph{dynamic multi-stage convergence analysis}, which is the key technical part for improving previous results to the optimal rates. We believe that our new theoretical rates and novel convergence analysis for the fundamental finite-sum problem will directly lead to key improvements for many other related problems, such as distributed/federated/decentralized optimization problems (e.g., Li and Richtárik, 2021). Finally, the numerical experiments show that ANITA converges faster than the previous state-of-the-art Varag (Lan et al., 2019), validating our theoretical results and confirming the practical superiority of ANITA.

研究动机与目标

• 填补一般凸和强凸设定下有限和优化中最优收敛速率的空白。
• 消除加速方差缩减方法中双循环结构的需求，从而简化实现与分析。
• 在一般凸和强凸情况下，实现与已知下界匹配的最优收敛复杂度。
• 提出一种新的动态多阶段收敛分析框架，以实现更紧的速率界并提升算法简洁性。
• 通过数值实验展示实际性能优势，验证其在最先进的方法（如 Varag）上的理论优势。

提出的方法

• 提出 ANITA，一种专为形式为 $\min_x \frac{1}{n}\sum_{i=1}^n f_i(x)$ 的有限和问题设计的新颖加速梯度方法。
• 引入一种动态多阶段收敛分析框架，通过在迭代过程中自适应调整步长和概率，以实现最优速率。
• 采用单循环结构，无嵌套循环，简化实现，避免了如 Varag 和 Katyusha 等先前双循环算法的复杂性。
• 采用一种新颖的参数化方式，涉及 $\theta_t = \frac{1}{2}\min\{1, \sqrt{\frac{\mu}{p_t L}}\}$ 和自适应概率 $p_t$，以平衡收敛速度与方差缩减。
• 通过构造李雅普诺夫函数 $\Phi_t = f(w_t) - f(x^*) + \frac{(1 + \mu\eta_t)p_t\theta_t}{2\eta_t}\|x_t - x^*\|^2$ 来追踪进展，并在强凸情况下建立线性收敛性。
• 通过在 $\mathbb{E}[\Phi_t]$ 上应用叠缩不等式，证明在最优参数设置下有 $\mathbb{E}[\Phi_t] \leq (1 - \frac{4p\theta}{5})^t \Phi_0$，从而建立收敛性。

实验结果

研究问题

• RQ1 无循环的加速方差缩减方法能否在一般凸有限和问题中实现最优的 $O(n)$ 复杂度，与下界 $\Omega(n)$ 匹配？
• RQ2 强凸问题的收敛速率能否被优化至 $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$，与已知下界匹配？
• RQ3 是否可能在保持最优收敛速率的同时，消除加速方法中的双循环结构，从而简化实现？
• RQ4 能否开发一种动态多阶段收敛分析框架，以实现更紧的界，并在不同问题场景下实现最优速率？
• RQ5 所提出的 ANITA 方法是否在理论复杂度和实际收敛速度上均优于最先进的方法（如 Varag 和 Katyusha）？

主要发现

• 对于一般凸有限和问题，ANITA 实现了最优的 $O(n)$ 随机梯度复杂度，与 Woodworth 和 Srebro（2016）提出的 $\Omega(n)$ 下界完全匹配，优于以往的 $O(n\log\frac{1}{\epsilon})$ 和 $O(\frac{n}{\sqrt{\epsilon}})$ 结果。
• 对于强凸问题，ANITA 实现了最优收敛速率 $O\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$，与 Lan 和 Zhou（2015）提出的 $\Omega\big{(}(n + \sqrt{\frac{nL}{\mu}})\log\frac{1}{\epsilon}\big{)}$ 下界完全匹配。
• ANITA 消除了如 Varag 和 Katyusha 等先前加速方法中的双循环结构，实现了更简洁、无循环的算法设计。
• 动态多阶段收敛分析是关键技术突破，实现了对李雅普诺夫函数和方差缩减的更紧密控制，从而实现最优速率。
• 数值实验结果证实，ANITA 的收敛速度优于此前最先进的方法 Varag，验证了其实际性能优势。
• 该方法在理论最优性和简洁性方面的优势，预示其在分布式、联邦化和去中心化优化等关联领域具有直接应用潜力与改进空间。