[论文解读] Fast Asynchronous Parallel Stochastic Gradient Decent

Shen-Yi Zhao, Wu-Jun Li|arXiv (Cornell University)|Aug 24, 2015

Stochastic Gradient Optimization Techniques参考文献 7被引用 5

一句话总结

本文提出 AsySVRG，一种快速的异步并行随机梯度下降方法，通过利用方差减少的 SVRG 框架实现高效的多核训练。通过引入一致读取和不一致读取策略，AsySVRG 实现了线性收敛，并在真实数据集上相比 Hogwild! 在收敛速度和计算成本方面表现更优。

ABSTRACT

Stochastic gradient descent~(SGD) and its variants have become more and more popular in machine learning due to their efficiency and effectiveness. To handle large-scale problems, researchers have recently proposed several parallel SGD methods for multicore systems. However, existing parallel SGD methods cannot achieve satisfactory performance in real applications. In this paper, we propose a fast asynchronous parallel SGD method, called AsySVRG, by designing an asynchronous strategy to parallelize the recently proposed SGD variant called stochastic variance reduced gradient~(SVRG). Both theoretical and empirical results show that AsySVRG can outperform existing state-of-the-art parallel SGD methods like Hogwild! in terms of convergence rate and computation cost.

研究动机与目标

• 解决现有并行 SGD 方法在多核系统上的性能局限，特别是收敛率不理想的问题。
• 提升大规模经验风险最小化问题的收敛速度和计算效率。
• 为 SVRG 算法设计一种异步并行策略，避免同步瓶颈的同时保持收敛保证。
• 在理论收敛速率和实际运行时间两方面，证明其优于当前最先进方法（如 Hogwild!）

提出的方法

• 提出两种异步方案——一致读取和不一致读取，以协调多个线程在无锁情况下更新共享参数。
• 通过在周期性时间点使用完整梯度的快照来计算控制变体，从而适配 SVRG 算法以减少梯度方差。
• 使用更新规则 $\mathbf{v}_m = \nabla f_{i_m}(\mathbf{u}_{k(m)}) - \nabla f_{i_m}(\mathbf{u}_0) + \nabla f(\mathbf{u}_0)$ 来校正异步设置下的过时梯度。
• 采用共享内存模型，其中线程独立采样数据实例，并异步更新全局参数向量。
• 将内层循环长度 $M = \frac{2n}{p}$，以在 $p$ 个线程之间平衡收敛性能与计算成本。
• 使用常数步长 $\gamma$，并在每个周期后自适应衰减（$\gamma \leftarrow 0.9\gamma$）以改善实际收敛性能。

实验结果

研究问题

• RQ1 SVRG 的异步变体是否能在多核系统上实现比 Hogwild! 更快的收敛速度？
• RQ2 AsySVRG 中的一致读取与不一致读取策略在异步环境下是否仍能保持线性收敛？
• RQ3 在真实数据集上，AsySVRG 与 Hogwild! 在计算成本和收敛速度方面有何对比？
• RQ4 无锁更新与有锁更新策略对异步 SVRG 性能有何影响？
• RQ5 AsySVRG 是否能以更少的有效数据遍历次数实现更快的收敛速度，相比 Hogwild!？

主要发现

• 在 rcv1 数据集上，AsySVRG-unlock（不一致读取）在 10 个线程下实现了 5.77 倍的加速，优于 Hogwild! 在相同任务下超过 200 秒的耗时。
• 在 news20 数据集上，AsySVRG-unlock 耗时 514.50 秒即达到 $10^{-4}$ 的差距，而 Hogwild! 超过 2000 秒，展现出显著的运行时间优势。
• 在 rcv1 数据集上，AsySVRG-lock 在 8 个线程下实现了 4.92 倍的加速，而 Hogwild! 在 10 个线程下耗时超过 500 秒，凸显了 AsySVRG 的更高效率。
• 如图 1 所示，AsySVRG 的收敛速度显著快于 Hogwild!，其在更少的有效遍历次数内达到更低的目标值。
• 在实践中，一致读取策略表现最差，运行时间长于 AsySVRG-lock 和 AsySVRG-unlock，表明其在异步环境中的低效性。
• 理论上证明 AsySVRG 在一致读取和不一致读取下均保持线性收敛，而 Hogwild! 仅实现次线性收敛。