[论文解读] Direct Acceleration of SAGA using Sampled Negative Momentum

Kaiwen Zhou|arXiv (Cornell University)|Jun 28, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用 11

一句话总结

该论文提出了采样负动量（SSNM），一种对有限和复合优化问题中SAGA的直接加速方法。通过引入一种使用独立样本的新型负动量机制，SSNM在强凸问题中实现了最优已知的Oracle复杂度 $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$，与Katyusha和MiG的最先进速率相匹配，同时保持了SAGA的低内存开销和实际效率。

ABSTRACT

Variance reduction is a simple and effective technique that accelerates convex (or non-convex) stochastic optimization. Among existing variance reduction methods, SVRG and SAGA adopt unbiased gradient estimators and are the most popular variance reduction methods in recent years. Although various accelerated variants of SVRG (e.g., Katyusha and Acc-Prox-SVRG) have been proposed, the direct acceleration of SAGA still remains unknown. In this paper, we propose a directly accelerated variant of SAGA using a novel Sampled Negative Momentum (SSNM), which achieves the best known oracle complexity for strongly convex problems (with known strong convexity parameter). Consequently, our work fills the void of directly accelerated SAGA.

研究动机与目标

• 为填补SAGA直接加速的空白，此前缺乏与Katyusha和MiG等加速SVRG方法性能相当的变体。
• 开发一种方法，实现强凸有限和问题的最优已知Oracle复杂度，且不依赖于间接加速技术（如约简或邻近点方法）。
• 在保持快速收敛的同时确保低内存复杂度，尤其在病态条件问题中，加速效果最为显著。
• 通过实验验证，所提方法在实践中优于SAGA，并在高条件数设置下可与Katyusha和MiG相媲美。

提出的方法

• 提出采样负动量（SSNM），一种新颖的动量机制，利用独立样本 $I_k$ 计算负动量项，与梯度样本 $i_k$ 相区分。
• 通过在SAGA更新规则中增加负动量项 $\tau (x_k - \tilde{x}_k)$（其中 $\tilde{x}_k$ 为历史迭代点）来加速收敛。
• 采用双重采样策略：一个样本 $i_k$ 用于计算随机梯度，另一个独立样本 $I_k$ 用于计算负动量，从而减少方差累积。
• 在强凸条件下推导理论收敛速率，表明其Oracle复杂度为 $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$，与最优已知速率一致。
• 采用参数方案 $\eta = \sqrt{1/(3\mu n L)}$ 和 $\tau = \frac{n\eta\mu}{1 + \eta\mu}$，确保稳定性和收敛性。
• 通过Hadrien Hendrikx的洞察减少内存复杂度，避免了早期AISTATS版本中的高内存开销。

实验结果

研究问题

• RQ1 能否使用类似Katyusha的负动量机制，对SAGA实现直接加速，而无需依赖间接约简？
• RQ2 使用独立样本 $I_k$ 计算负动量是否相比复用梯度样本 $i_k$ 能提升稳定性和收敛性？
• RQ3 所提加速SAGA变体的理论Oracle复杂度是多少？是否与强凸问题的最优已知速率一致？
• RQ4 在实践中，SSNM与SAGA、Katyusha和MiG相比表现如何，特别是在高条件数 $\kappa$ 的病态条件问题上？
• RQ5 所提方法能否在保持快速收敛的同时维持低内存复杂度，使其适用于大规模机器学习应用？

主要发现

• SSNM在强凸问题中实现了最优已知的Oracle复杂度 $\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$，与Katyusha和MiG的速率一致。
• 在 $\lambda = 10^{-8}$ 的covtype数据集上，SSNM在迭代轮数上显著快于Katyusha和MiG，尽管理论速率相同。
• 当 $\kappa$ 增大10倍时，所有加速方法均需约 $\sqrt{10}$ 倍更多的Oracle调用才能达到相同精度，证实了 $\sqrt{\kappa}$ 的依赖性。
• SAGA在 $\kappa$ 增大时表现出显著性能下降，凸显了在病态条件下加速的优势。
• 若使用相同的梯度样本 $i_k$ 计算负动量（而非独立样本 $I_k$），则收敛速度更慢且更不稳定，表明独立采样可减少方差累积。
• SSNM的收敛性相比其他方法略显不稳定，可能由于双重采样机制增加了每轮迭代的不确定性。