[论文解读] A Short Note of PAGE: Optimal Convergence Rates for Nonconvex Optimization

Zhize Li|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Algorithms参考文献 1被引用 5

一句话总结

本文针对非凸优化中的概率梯度估计器（PAGE）算法提供了改进的收敛性分析，表明在最优参数设置下，PAGE实现了已知的最佳收敛速率——与有限和设置下的理论下界 $O(n + \tilde{n}/\epsilon^2)$ 及在线设置下的 $O(b + \tilde{b}/\epsilon^2)$ 完全匹配。该分析通过平衡随机梯度复用与方差减少，实现了最优的梯度复杂度。

ABSTRACT

In this note, we first recall the nonconvex problem setting and introduce the optimal PAGE algorithm (Li et al., ICML'21). Then we provide a simple and clean convergence analysis of PAGE for achieving optimal convergence rates. Moreover, PAGE and its analysis can be easily adopted and generalized to other works. We hope that this note provides the insights and is helpful for future works.

研究动机与目标

• 为非凸优化中的 PAGE 算法提供一种简洁明了的收敛性分析。
• 在平均光滑性和有界方差的标准假设下，证明 PAGE 实现了最优收敛速率。
• 证明 PAGE 的梯度复杂度在有限和与在线非凸优化中均匹配已知的理论下界。
• 为未来研究的广泛适用性，对分析方法进行推广与简化。

提出的方法

• PAGE 使用一种概率梯度估计器：以概率 $p_t$ 计算新的小批量梯度，以概率 $1-p_t$ 复用前一梯度并附加一个微小校正项。
• 算法采用步长 $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$ 以确保稳定性和收敛性。
• 关键组件是使用李雅普诺夫函数 $\Phi_t = f(x^t) - f^* + \frac{\eta}{2p}\|g^t - \nabla f(x^t)\|^2$ 来追踪进展并有界地控制梯度范数的期望。
• 在有限和情形下，分析依赖于引理 2，以在平均 $L$-光滑性假设下控制梯度估计器的方差。
• 在在线情形下，引理 3 将分析扩展至包含有界方差 ($\sigma^2$) 的情况，并考虑了全梯度不可用的情形。
• 输出 $\widehat{x}_T$ 从迭代序列 $\{x^t\}_{t \in [T]}$ 中均匀采样，以确保获得 $\epsilon$-近似驻点。

实验结果

研究问题

• RQ1 能否为非凸优化中的 PAGE 算法提供一种简洁明了的收敛性分析？
• RQ2 PAGE 是否实现了与非凸有限和及在线问题已知下界相匹配的最优收敛速率？
• RQ3 在两种设置下，PAGE 的梯度复杂度如何随 $n$、$b$ 和 $\epsilon$ 变化？
• RQ4 为实现最优收敛，需要哪些参数选择（如步长、$p_t$、小批量大小）？

主要发现

• PAGE 以期望梯度范数 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$ 达到 $\epsilon$-近似驻点。
• 在有限和情形下，梯度复杂度为 $O(n + \frac{\sqrt{n}}{\epsilon^2})$，与理论下界完全匹配。
• 在在线情形下，梯度复杂度为 $O(b + \frac{\sqrt{b}}{\epsilon^2})$，同样匹配已知下界。
• 最优步长为 $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$，该设置在下降与方差减少之间实现平衡。
• 在在线情形下，小批量大小 $b$ 设为 $\min(\lceil \frac{2\sigma^2}{\epsilon^2} \rceil, n)$ 以最小化复杂度。
• 分析表明 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|^2] \leq \epsilon^2$，结合詹森不等式可推出 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$。