[论文解读] Cyclades: Conflict-free Asynchronous Machine Learning

Xinghao Pan, Maximilian Lam+6 more|arXiv (Cornell University)|May 1, 2016

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

Cyclades 是一种无冲突、异步的机器学习框架，适用于共享内存系统，可在不使用锁的情况下消除竞争条件，从而在广泛的一类随机优化算法中实现可证明的加速。其设计确保了优异的缓存局部性与性能，相较于 Hogwild! 最快可提升 40%，相较于方差缩减的异步方法最快可提升 5 倍，尤其在稀疏数据集上表现突出。

ABSTRACT

We present Cyclades, a general framework for parallelizing stochastic optimization algorithms in a shared memory setting. Cyclades is asynchronous during model updates, and requires no memory locking mechanisms, similar to Hogwild!-type algorithms. Unlike Hogwild!, Cyclades introduces no conflicts during parallel execution, and offers a black-box analysis for provable speedups across a large family of algorithms. Due to its inherent cache locality and conflict-free nature, our multi-core implementation of Cyclades consistently outperforms Hogwild!-type algorithms on sufficiently sparse datasets, leading to up to 40% speedup gains compared to Hogwild!, and up to 5 imes gains over asynchronous implementations of variance reduction algorithms.

研究动机与目标

• 通过在共享内存系统中消除模型更新期间的竞争条件，解决 Hogwild! 风格算法的局限性。
• 在不依赖内存锁机制的前提下，实现并行随机优化中可证明的加速。
• 在多核环境中提升稀疏机器学习工作负载的缓存局部性和系统级性能。
• 提供一个适用于广泛优化算法家族的黑箱分析框架。
• 在现有异步方法基础上实现显著的性能提升，尤其在稀疏数据上表现更优。

提出的方法

• 设计一种无冲突的更新机制，避免在共享内存中更新模型参数时出现竞争条件。
• 采用共享内存、无锁的架构，实现高并发性，同时避免同步开销。
• 利用数据固有的稀疏性以及对缓存友好的内存访问模式，提升数据局部性并减少内存瓶颈。
• 引入一个黑箱分析框架，以形式化方法证明在广泛优化算法家族中均具备加速保证。
• 实现 Cyclades 的多核版本，充分利用并行性，同时保持正确性与高性能。
• 通过最小化内存争用并最大化 CPU 缓存中的数据重用，对稀疏数据集进行优化。

实验结果

研究问题

• RQ1 无锁、无冲突的异步随机优化框架是否能在多种算法中实现可证明的加速？
• RQ2 在稀疏机器学习工作负载上，Cyclades 相较 Hogwild! 在性能与可扩展性方面表现如何？
• RQ3 改进的缓存局部性在共享内存并行训练中对性能提升的贡献程度如何？
• RQ4 Cyclades 在实际应用中是否能对方差缩减的异步方法实现显著加速？
• RQ5 Cyclades 在广泛优化算法家族中实现性能保证的理论基础是什么？

主要发现

• 由于其无冲突和缓存优化的设计，Cyclades 在足够稀疏的数据集上相较 Hogwild! 最快可实现 40% 的加速。
• 该框架通过消除竞争条件和减少内存争用，在多核环境中始终优于 Hogwild!。
• 在稀疏数据上，Cyclades 相较方差缩减算法的异步实现最快可实现 5 倍的加速。
• 黑箱分析框架为一大类随机优化算法提供了形式化的可证明加速保证。
• 性能提升主要归因于更优的缓存局部性以及无同步开销。
• 即使在高并发环境下，Cyclades 也无需使用锁即可保持正确性与高吞吐量。