[论文解读] HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

Feng Niu, Benjamin Recht+2 more|arXiv (Cornell University)|Jun 28, 2011

Stochastic Gradient Optimization Techniques参考文献 27被引用 1,224

一句话总结

Hogwild! 提出了一种无锁并行随机梯度下降（SGD）算法，通过利用机器学习问题中的稀疏性，在无需同步的情况下实现了接近线性的加速。通过允许多个处理器并发、无协调地更新共享内存，该方法减少了锁的开销，在SVM、矩阵补全和图割等稀疏任务上，性能优于带锁的替代方案一个数量级。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular algorithm that can achieve state-of-the-art performance on a variety of machine learning tasks. Several researchers have recently proposed schemes to parallelize SGD, but all require performance-destroying memory locking and synchronization. This work aims to show using novel theoretical analysis, algorithms, and implementation that SGD can be implemented without any locking. We present an update scheme called HOGWILD! which allows processors access to shared memory with the possibility of overwriting each other's work. We show that when the associated optimization problem is sparse, meaning most gradient updates only modify small parts of the decision variable, then HOGWILD! achieves a nearly optimal rate of convergence. We demonstrate experimentally that HOGWILD! outperforms alternative schemes that use locking by an order of magnitude.

研究动机与目标

• 解决由于同步和锁开销导致的随机梯度下降（SGD）在并行计算中的可扩展性瓶颈。
• 证明当优化问题具有稀疏性时，无锁并行SGD可以被有效实现。
• 在真实世界机器学习应用中，相较于现有带锁并行SGD方案，实现显著的性能提升。
• 为无锁方法在稀疏条件下的收敛性和加速特性提供理论依据。
• 表明即使在梯度计算较为耗时的情况下，Hogwild! 仍优于轮询（round-robin）和带锁方法，保持更优性能。

提出的方法

• Hogwild! 使用无锁更新策略，允许多个处理器在无同步的情况下并发访问和修改共享内存。
• 该算法依赖于优化问题的稀疏性，即每次随机梯度更新仅影响决策变量的一小部分。
• 它假设代价函数是可分且稀疏的，可表示为小部分变量上函数的和，从而形成超图结构。
• 该方法利用了由于稀疏性导致内存覆盖操作极为罕见，且即使发生也引入可忽略的误差。
• 理论分析表明，在稀疏条件下，Hogwild! 即使使用固定步长，也能实现接近最优的收敛速率。
• 实验评估在真实数据集上对比了Hogwild! 与带锁和轮询方案的性能，测量了多核环境下的运行时间与加速比。

实验结果

研究问题

• RQ1 在共享内存系统中，随机梯度下降能否在无同步或锁的情况下被有效并行化？
• RQ2 在并发内存更新的情况下，无锁SGD方法在何种条件下仍能保持收敛性和性能？
• RQ3 优化问题的稀疏性如何影响无锁SGD的有效性和鲁棒性？
• RQ4 Hogwild! 是否能在具有稀疏数据结构的真实世界机器学习任务中实现接近线性的加速？
• RQ5 当梯度计算耗时较长时，Hogwild! 与带锁和轮询并行SGD方案相比，性能表现如何？

主要发现

• 在图割问题上，Hogwild! 使用10个线程实现了四倍以上的加速，而轮询（RR）的性能甚至比串行版本还慢一倍。
• 在DBLife实体识别问题中，梯度计算较慢，Hogwild! 在10个核心下实现了九倍加速，而RR仅实现五倍加速。
• 对于RCV1 SVM数据集，尽管ρ值相对较高，Hogwild! 仍实现了显著的加速，表明其在中等稀疏性下也具有鲁棒性。
• 当梯度计算延迟超过1毫秒时，RR和Hogwild! 的加速比相近，但Hogwild! 在所有延迟水平下均保持更低的运行时间。
• 在实践中，Hogwild! 超过所有带锁和轮询方案，性能超出理论预期，展现出卓越的可扩展性。
• 理论分析证实，Hogwild! 中的固定步长方案可通过指数回退实现稳健的1/k收敛速率，避免了较慢的1/√k速率。