[论文解读] A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize

Tengteng Yu, Xinwei Liu+2 more|arXiv (Cornell University)|Oct 2, 2020

Stochastic Gradient Optimization Techniques参考文献 40被引用 4

一句话总结

该论文提出 VM-mSRGBB，一种可变度量小批量近端随机递归梯度算法，采用对角线 Barzilai-Borwein 步长以提升收敛性能。该方法在强凸、非强凸和凸问题上均实现线性收敛，相较于现有方差缩减方法，在标准数据集上表现出更低的每次迭代成本和更优的实际性能。

ABSTRACT

Variable metric proximal gradient methods with different metric selections have been widely used in composite optimization. Combining the Barzilai-Borwein (BB) method with a diagonal selection strategy for the metric, the diagonal BB stepsize can keep low per-step computation cost as the scalar BB stepsize and better capture the local geometry of the problem. In this paper, we propose a variable metric mini-batch proximal stochastic recursive gradient algorithm VM-mSRGBB, which updates the metric using a new diagonal BB stepsize. The linear convergence of VM-mSRGBB is established for strongly convex, non-strongly convex and convex functions. Numerical experiments on standard data sets show that VM-mSRGBB is better than or comparable to some variance reduced stochastic gradient methods with best-tuned scalar stepsizes or BB stepsizes. Furthermore, the performance of VM-mSRGBB is superior to some advanced mini-batch proximal stochastic gradient methods.

研究动机与目标

• 解决标准随机梯度方法在大规模复合优化中每次迭代成本高和收敛慢的问题。
• 通过引入方差缩减和自适应度量选择，提升近端随机梯度方法的收敛速度。
• 开发一种结合小批量方案与递归梯度更新及对角线 Barzilai-Borwein 步长的算法，以更好逼近局部几何结构。
• 在一般凸性假设（强凸、非强凸和凸）下，为所提算法建立线性收敛保证。
• 与最先进方差缩减及小批量近端随机梯度方法相比，展示更优的实验性能。

提出的方法

• 提出一种可变度量小批量近端随机递归梯度算法（VM-mSRGBB），通过使用对角线 Barzilai-Borwein（BB）步长来更新 Hessian 近似。
• 采用递归梯度估计器以降低方差，跨迭代维护梯度的运行平均值。
• 采用小批量方案以降低随机梯度方差，同时保持较低的每次迭代成本。
• 应用对角线 BB 步长策略以自适应更新度量，平衡计算效率与局部曲率逼近。
• 高效集成正则化项 R(w) 的近端算子，使算法可应用于非光滑正则化问题。
• 在三种设定下进行收敛性分析：强凸、非强凸和凸函数，证明在所有情况下均实现线性收敛。

实验结果

研究问题

• RQ1 对角线 Barzilai-Borwein 步长是否能在保持低每次迭代成本的同时，提升可变度量随机优化中的收敛性能？
• RQ2 将小批量与递归梯度估计及对角线度量更新相结合，是否能比现有方差缩减方法实现更快的收敛速度？
• RQ3 所提算法是否可在一般凸性假设下（包括非强凸问题）建立线性收敛性？
• RQ4 在标准机器学习数据集上，VM-mSRGBB 与最佳调参的标量步长和 BB 步长方法相比，实验表现如何？
• RQ5 在大规模设置下，对角线度量选择策略是否比标量或全矩阵度量更有效地捕捉局部问题几何结构？

主要发现

• VM-mSRGBB 在强凸、非强凸和凸复合优化问题中均实现线性收敛，将理论保证扩展至标准方法之外。
• 与最佳调参的标量步长或 BB 步长的方差缩减随机梯度方法相比，该算法在标准基准数据集上表现出更优性能。
• 在大规模学习任务中，VM-mSRGBB 在收敛速度和最终目标值方面均优于先进的小批量近端随机梯度方法。
• 对角线 Barzilai-Borwein 步长在保持低每次迭代计算成本的同时，有效捕捉局部曲率，使收敛速度优于标量 BB 步长。
• 数值实验证实，所提方法具有鲁棒性和可扩展性，尤其在 n 较大且 R(w) 的近端算子可高效计算时表现更优。
• 理论分析表明，递归梯度估计器可保持有界方差，从而在弱假设下实现稳定且快速的收敛。