[论文解读] Asynchronous Stochastic Proximal Optimization Algorithms with Variance Reduction

Qi Meng, Wei Chen+4 more|arXiv (Cornell University)|Sep 27, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用 10

一句话总结

本文提出了 ProxSVRG 和 ProxSVRCD 的异步变体——Async-ProxSVRG 和 Async-ProxSVRCD——通过方差缩减技术，加快大规模正则化经验风险最小化问题的收敛速度。理论证明，在数据稀疏条件下，Async-ProxSVRG 可实现近似线性加速；而当块大小较小时，Async-ProxSVRCD 即使在非稀疏数据上也能实现近似线性加速，实验结果在基准数据集上得到验证。

ABSTRACT

Regularized empirical risk minimization (R-ERM) is an important branch of machine learning, since it constrains the capacity of the hypothesis space and guarantees the generalization ability of the learning algorithm. Two classic proximal optimization algorithms, i.e., proximal stochastic gradient descent (ProxSGD) and proximal stochastic coordinate descent (ProxSCD) have been widely used to solve the R-ERM problem. Recently, variance reduction technique was proposed to improve ProxSGD and ProxSCD, and the corresponding ProxSVRG and ProxSVRCD have better convergence rate. These proximal algorithms with variance reduction technique have also achieved great success in applications at small and moderate scales. However, in order to solve large-scale R-ERM problems and make more practical impacts, the parallel version of these algorithms are sorely needed. In this paper, we propose asynchronous ProxSVRG (Async-ProxSVRG) and asynchronous ProxSVRCD (Async-ProxSVRCD) algorithms, and prove that Async-ProxSVRG can achieve near linear speedup when the training data is sparse, while Async-ProxSVRCD can achieve near linear speedup regardless of the sparse condition, as long as the number of block partitions are appropriately set. We have conducted experiments on a regularized logistic regression task. The results verified our theoretical findings and demonstrated the practical efficiency of the asynchronous stochastic proximal algorithms with variance reduction.

研究动机与目标

• 解决大规模正则化经验风险最小化（R-ERM）问题中对可扩展并行优化的需求。
• 将方差缩减的近端算法（ProxSVRG 和 ProxSVRCD）扩展至异步并行设置，以提升训练效率。
• 对这些算法的异步实现进行理论分析，研究其收敛性与加速条件。
• 在具有不同稀疏性和维度的真实世界基准数据集上，实验验证理论发现。

提出的方法

• 提出 Async-ProxSVRG，即 ProxSVRG 的异步变体，采用一致读取语义，确保完整参数向量的原子更新。
• 提出 Async-ProxSVRCD，即 ProxSVRCD 的异步变体，采用不一致读取语义，允许坐标块的原子更新，以提升系统效率。
• 将方差缩减技术整合到异步框架中，以降低梯度方差，实现使用常数步长的线性收敛。
• 理论分析表明，当数据稀疏时，Async-ProxSVRG 可实现近似线性加速；而当块大小相对于输入维度较小时，Async-ProxSVRCD 可实现近似线性加速。
• 使用标准超参数实现两种算法：步长 η = 0.04，小批量大小 B = 200，内层循环大小 K 设为 2n 或 2nm。
• 对输入特征进行归一化，使利普希茨常数 L ≤ 0.25，以确保收敛稳定性。

实验结果

研究问题

• RQ1 ProxSVRG 的异步并行化能否实现近似线性加速？在何种数据条件下成立？
• RQ2 异步 ProxSVRCD 是否能在不依赖数据稀疏性的前提下实现近似线性加速？其块大小需满足何种条件？
• RQ3 在实际应用中，异步 ProxSVRG 和 ProxSVRCD 的收敛速度与加速性能与它们的串行版本相比如何？
• RQ4 在近端随机优化中，能否有效结合异步机制与方差缩减技术而不损害收敛性能？

主要发现

• 在稀疏数据集（如 rcv1）上，Async-ProxSVRG 实现了近似线性加速，且在最稀疏的数据上观察到最大加速比。
• 在高维稠密数据集（如 news20）上，Async-ProxSVRCD 实现了显著加速，与理论中关于块大小相对于输入维度较小的条件一致。
• 在三个基准数据集（rcv1、real-sim、news20）上，两种异步算法在收敛速度上均优于非方差缩减的对比算法（如 Async-ProxSGD 和 Async-ProxSCD）。
• Async-ProxSVRG 的加速比在 rcv1（稀疏）上最高，在 news20（稠密）上最低，验证了其对数据稀疏性的理论依赖。
• Async-ProxSVRCD 的加速比在 news20 上最为显著，此时块大小条件最容易满足，验证了理论洞察。
• 实验结果证实，异步机制与方差缩减技术可有效结合，从而在大规模 R-ERM 问题中实现更快收敛。