[论文解读] Accelerated Stochastic ADMM with Variance Reduction

Chao Zhang, Zebang Shen+4 more|arXiv (Cornell University)|Nov 13, 2016

Sparse and Compressive Sensing Techniques参考文献 21被引用 3

一句话总结

本文提出了一种新型随机ADMM算法——加速SVRG-ADMM（ASVRG-ADMM），该算法将方差缩减与Nesterov风格加速相结合，实现了关于光滑性常数L_f的最优O(1/N²)收敛速率。该方法通过引入辅助变量和自适应动量，显著提升了大规模经验风险最小化问题中的收敛速度。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular method for solving large-scale Machine Learning problems. Stochastic ADMM was proposed to reduce the per iteration computational complexity, which is more suitable for big data problems. Recently, variance reduction techniques have been integrated with stochastic ADMM in order to get a faster convergence rate, such as SAG-ADMM and SVRG-ADMM. However, their convergence rate is still suboptimal w.r.t the smoothness constant. In this paper, we propose an accelerated stochastic ADMM algorithm with variance reduction, which enjoys a faster convergence than all the existing stochastic ADMM algorithms. We theoretically analyse its convergence rate and show its dependence on the smoothness constant is optimal. We also empirically validate its effectiveness and show its priority over other stochastic ADMM algorithms.

研究动机与目标

• 解决现有随机ADMM方法收敛速率次优的问题，特别是其O(1/√N)的收敛速率在大规模数据集上受到限制。
• 通过整合方差缩减技术（如SVRG）与Nesterov风格加速，提升关于光滑性常数L_f的收敛速度。
• 开发一种在保持低每轮迭代成本的同时实现最优收敛速率的方法，尤其在L_f较大（由于大数据）时至关重要。
• 通过理论与实证验证，证明该方法在大规模数据环境下优于SAG-ADMM、SVRG-ADMM和确定性加速ADMM。

提出的方法

• 提出ASVRG-ADMM，一种结合方差缩减（SVRG）与Nesterov型加速的随机ADMM变体，通过辅助变量提升收敛性能。
• 采用基于动量的更新规则，其中自适应权重α₂,s和α₃,s随迭代过程动态演化，以加速收敛并保持稳定性。
• 引入线性化增广拉格朗日方法以简化x更新步骤，通过预计算(L̄I + β₁AᵀA)⁻¹实现高效计算。
• 采用混合更新策略，其中x更新结合了当前迭代点、先前平均迭代点和动量项，以降低方差并加速收敛。
• 算法维护一组辅助点ỹ_s和ỹ_s^ag，用于追踪动量与方差缩减的梯度估计，从而提升收敛速度。
• 步长参数η_s和ρ_s动态调整，以随时间增加有效步长，从而提升收敛速率。

实验结果

研究问题

• RQ1 能否在随机ADMM框架中有效结合方差缩减与Nesterov加速，以实现比现有方法更快的收敛速度？
• RQ2 所提出的ASVRG-ADMM是否能实现关于光滑性常数L_f的最优O(1/N²)收敛速率，如同确定性加速方法一样？
• RQ3 在大规模经验风险最小化问题中，当L_f值较高（如来自大数据集的场景）时，该算法在实际中表现如何？
• RQ4 与SAG-ADMM和SVRG-ADMM相比，该算法能否在保持低每轮迭代计算成本的同时实现更快的收敛速度？

主要发现

• ASVRG-ADMM实现了关于光滑性常数L_f的O(1/N²)收敛速率，该速率最优，与最优确定性加速方法一致。
• 当L_f较大时（例如在covtype数据集上，L_f ≈ 2.02×10⁷），ASVRG-ADMM在完成50次有效数据遍历之后，收敛速度显著快于SAG-ADMM和SVRG-ADMM。
• 在较小数据集（a9a、w8a、ijcnn1）上，L_f值较低时，ASVRG-ADMM在20次有效数据遍历内即优于两种基线方法，表现出一致的优越性。
• 该方法在不同数据分布和规模下均表现稳健，所有四个测试数据集上的目标函数值均比对比方法下降得更快。
• 通过预计算矩阵逆和使用自适应步长，该方法保持了较低的计算开销，确保了在大规模问题上的可扩展性。
• 当m=1时，ASVRG-ADMM退化为Ouyang等人（2015）提出的确定性加速ADMM，验证了与先前工作的兼容性。