[论文解读] Distributed Coordinate Descent Method for Learning with Big Data

Peter Richtárik, Martin Takáč|arXiv (Cornell University)|Oct 8, 2013

Stochastic Gradient Optimization Techniques参考文献 14被引用 58

一句话总结

该论文提出Hydra，一种用于大规模学习问题的分布式坐标下降方法，通过将特征在集群节点间划分，并并行更新随机子集的坐标。该方法提供了依赖于数据相关范数（σ 和 σ′）的理论收敛边界，表明加速效果与 τ 和划分质量成正比，并在 3TB 的 LASSO 问题上通过优化通信协议实现了最高 3 倍的加速。

ABSTRACT

In this paper we develop and analyze Hydra: HYbriD cooRdinAte descent method for solving loss minimization problems with big data. We initially partition the coordinates (features) and assign each partition to a different node of a cluster. At every iteration, each node picks a random subset of the coordinates from those it owns, independently from the other computers, and in parallel computes and applies updates to the selected coordinates based on a simple closed-form formula. We give bounds on the number of iterations sufficient to approximately solve the problem with high probability, and show how it depends on the data and on the partitioning. We perform numerical experiments with a LASSO instance described by a 3TB matrix.

研究动机与目标

• 为解决在单台机器无法容纳数据的大数据场景下，坐标下降方法的可扩展性挑战。
• 设计一种分布式坐标下降算法，同时利用节点间与节点内并行性，实现高效的大规模优化。
• 为该方法在一般光滑且带正则化的损失函数下的收敛性提供理论保证。
• 分析方法性能如何依赖于数据结构（谱范数 σ）和划分方式（σ′），使实践者能够预测可扩展性。

提出的方法

• 该方法将 d 个特征划分为 c 个大小相等的块，并将每个块分配给集群中的不同节点，实现分布式存储和本地计算。
• 在每次迭代中，每个节点独立地从其分配的分区中选择 τ 个随机坐标，并基于偏导数的闭式公式更新它们。
• 该算法采用混合并行模型：节点内部并行更新，节点间通过轻量级通信进行协调。
• 它引入了两个关键的数据相关量：σ（数据矩阵的谱范数）和 σ′（由划分引起的范数），它们决定了收敛速度和可扩展性。
• 通过使用异步环形消息传递（ASL）优化通信协议，相比传统的 reduce-all 操作，显著降低了延迟并提高了吞吐量。
• 该方法支持完全并行（FP）和交替并行/串行（PS）两种通信策略，以平衡计算与通信开销。

实验结果

研究问题

• RQ1 在分布式坐标下降中，收敛速度如何依赖于数据结构和划分策略？
• RQ2 在大数据环境下，分布式坐标下降方法能否在并行度（τ）增加时实现近似线性加速？
• RQ3 在分布式设置下，以高概率达到 ϵ-精度所需的迭代次数的理论边界是什么？
• RQ4 数据相关量 σ 和 σ′ 如何影响该方法的可扩展性和性能？
• RQ5 如 ASL 这类优化通信协议能否显著减少迭代时间而不影响收敛性？

主要发现

• 当 τ = 102 时，Hydra 相较于基本的 RA-PS 通信协议实现了最高 3.11 倍的加速，表明优化通信带来了显著的性能提升。
• 收敛速度依赖于两个数据相关量：σ（谱范数）和 σ′（划分引起的范数），这些量可预先估计，以预测可扩展性。
• 对于强凸损失，Hydra 以至少 1−ρ 的概率在 O((dβ/(cτμ)) log(1/(ϵρ))) 次迭代内收敛到 ϵ-精度解，其中 β 为步长，μ 为强凸性常数。
• ASL-FP 协议将平均迭代时间减少至 0.025 秒（相比 RA-PS 的 0.040 秒），在 τ=10 时实现 1.62 倍加速，在 τ=102 时实现 3.11 倍加速。
• 该方法在 30 分钟内成功求解了 3TB 的 LASSO 问题，损失降低了 25 个数量级，展示了在真实世界大数据场景下的实际可扩展性。
• 理论分析表明，若 σ 较小，则增加 τ 可实现近乎线性加速；若 σ 较大，则加速可能可忽略，表明 σ 是并行效率的关键预测因子。