[论文解读] A Reliable Effective Terascale Linear Learning System

Alekh Agarwal, Olivier Chapelle+2 more|arXiv (Cornell University)|Oct 19, 2011

Gaussian Processes and Bayesian Inference参考文献 34被引用 243

一句话总结

本文提出了一种高度可扩展的千兆级线性学习系统，通过结合Hadoop兼容的AllReduce与混合在线-批处理优化策略，在1,000个节点的集群上实现了每秒50000万特征的处理速度。该系统在吞吐量和收敛速度方面优于以往方法，能够以极低的通信开销高效训练包含万亿级特征和数十亿样本的线性预测器。

ABSTRACT

We present a system and a set of techniques for learning linear predictors with convex losses on terascale datasets, with trillions of features, {The number of features here refers to the number of non-zero entries in the data matrix.} billions of training examples and millions of parameters in an hour using a cluster of 1000 machines. Individually none of the component techniques are new, but the careful synthesis required to obtain an efficient implementation is. The result is, up to our knowledge, the most scalable and efficient linear learning system reported in the literature (as of 2011 when our experiments were conducted). We describe and thoroughly evaluate the components of the system, showing the importance of the various design choices.

研究动机与目标

• 设计一种可扩展的分布式线性学习系统，能够处理千兆级数据集，包含万亿级特征、数十亿样本和数百万参数。
• 通过利用Hadoop兼容的AllReduce原原子，克服大规模分布式学习中的通信和I/O瓶颈。
• 实现学习吞吐量超过单个节点1 Gb/s网络接口的能力，证明其卓越的可扩展性。
• 在真实集群环境下评估并比较各种分布式优化策略（包括在线、批处理和小批量方法）的性能。
• 证明通过精心设计的架构整合现有技术（如L-BFGS热启动和稀疏参数更新）可实现前所未有的系统级性能。

提出的方法

• 系统使用Hadoop兼容的AllReduce原原子，在1,000个节点间高效同步梯度和模型参数，显著降低通信开销。
• 采用混合优化策略，结合在线学习的快速初始收敛与批量L-BFGS的高精度最终收敛。
• 算法利用稀疏参数更新以最小化通信成本，将每次更新的通信流量仅限于非零参数的变化部分。
• 通过使用前一迭代的模型参数对L-BFGS进行热启动，加速收敛并减少训练时间。
• 采用基于特征的分区方式将数据分布在各节点上，以最小化数据重排并支持高效的本地计算。
• 通过采用集中式AllReduce模式而非过度冗余的数据分区策略，避免全量数据复制，降低每个节点的通信成本。

实验结果

研究问题

• RQ1 Hadoop兼容的AllReduce原原子是否能够实现比传统MPI或MapReduce方法更快、更具可扩展性的分布式学习？
• RQ2 将在线与批处理优化策略结合，是否能在千兆级数据上实现比纯在线或纯批处理方法更优的收敛速度和模型精度？
• RQ3 通过使用稀疏参数更新和高效的同步原原子，是否能够将通信成本降低至低于数据集大小？
• RQ4 该系统的学习吞吐量与单机I/O极限相比如何？是否能够超过1 Gb/s的网络接口速度？
• RQ5 关键架构选择（如AllReduce、热启动和基于特征的数据分区）对系统可扩展性和效率的相对影响如何？

主要发现

• 该系统在1,000个节点的集群上实现了每秒50000万特征的学习吞吐量，比单个节点的1 Gb/s网络接口速度高出五倍。
• 使用AllReduce相比传统MapReduce显著降低了每次迭代的通信成本，并避免了过度冗余分区策略中数据复制带来的高通信开销。
• 混合在线-批处理优化策略显著优于纯在线或纯批处理方法，尤其在剪接位点识别等复杂问题上表现突出。
• 对L-BFGS算法进行热启动显著提升了收敛速度和最终模型精度，如表4和图3所示。
• 尽管Sibyl系统采用专有架构，本系统性能仍优于其表现，原因在于本系统具备更优的通信和I/O效率。
• 实证结果证实，当$d$较大时，采用密集参数更新的小批量和在线方法会因通信成本过高而不可行，从而验证了稀疏更新策略的必要性。