[论文解读] Asynchronous Complex Analytics in a Distributed Dataflow Architecture

Joseph E. Gonzalez, Peter Bailis+5 more|arXiv (Cornell University)|Oct 24, 2015

Graph Theory and Algorithms参考文献 77被引用 10

一句话总结

本文提出了一种新型基于迭代器的抽象机制——异步横向信息传递（ASIP），该机制可在 Apache Spark 等通用数据流系统中实现异步复杂分析（特别是随机梯度下降法，SGD 和 ADMM）。通过 ASIP 迭代器实现并行算子之间的细粒度共享状态通信，该方法在保持统计正确性的同时，通过容忍延迟和数据竞争，显著提升了对同步版本的性能。

ABSTRACT

Scalable distributed dataflow systems have recently experienced widespread adoption, with commodity dataflow engines such as Hadoop and Spark, and even commodity SQL engines routinely supporting increasingly sophisticated analytics tasks (e.g., support vector machines, logistic regression, collaborative filtering). However, these systems' synchronous (often Bulk Synchronous Parallel) dataflow execution model is at odds with an increasingly important trend in the machine learning community: the use of asynchrony via shared, mutable state (i.e., data races) in convex programming tasks, which has---in a single-node context---delivered noteworthy empirical performance gains and inspired new research into asynchronous algorithms. In this work, we attempt to bridge this gap by evaluating the use of lightweight, asynchronous state transfer within a commodity dataflow engine. Specifically, we investigate the use of asynchronous sideways information passing (ASIP) that presents single-stage parallel iterators with a Volcano-like intra-operator iterator that can be used for asynchronous information passing. We port two synchronous convex programming algorithms, stochastic gradient descent and the alternating direction method of multipliers (ADMM), to use ASIPs. We evaluate an implementation of ASIPs within on Apache Spark that exhibits considerable speedups as well as a rich set of performance trade-offs in the use of these asynchronous algorithms.

研究动机与目标

• 弥合广泛部署的同步数据流系统（如 Spark）与异步机器学习算法性能优势之间的差距。
• 探究异步算法是否可在无需专用运行时环境的前提下，在分布式数据流环境中高效且有效地实现。
• 设计并评估一种轻量级、可组合的抽象机制（ASIP），以实现数据并行算子之间的细粒度异步通信。
• 证明异步凸优化（SGD 和 ADMM）可被高效移植到通用数据流引擎中，并获得可测量的性能提升。

提出的方法

• 提出 ASIP，一种新型数据流算子抽象，通过基于拉取的迭代器接口提供共享可变状态访问，实现并发算子实例之间的细粒度通信。
• 设计一种 ASIP 迭代器，抽象化分发与路由逻辑，支持跨分区的异步模型更新，同时利用 Spark 的原生执行引擎进行批量计算。
• 将两种经典的凸优化算法——SGD 和 ADMM——改造为使用 ASIP 迭代器实现异步模型同步，取代原有的同步屏障同步机制。
• 通过 ASIP 迭代器传输经过增量编码的模型更新，以最小化通信开销，实现高效且可扩展的收敛。
• 复用 Spark 已有的容错机制与调度策略，并扩展支持 ASIP 特有的检查点与恢复策略。
• 利用凸优化的统计鲁棒性，容忍数据竞争与状态延迟，确保在异步环境下仍能收敛。

实验结果

研究问题

• RQ1 通用数据流系统（如 Spark）是否可被扩展以原生支持异步复杂分析，而无需依赖独立的执行框架？
• RQ2 在分布式数据流环境中，与同步版本相比，使用异步算法（SGD 和 ADMM）在性能与正确性之间存在何种权衡？
• RQ3 ASIP 抽象如何在保持容错性的同时，实现数据流管道中并行算子之间高效、细粒度的通信？
• RQ4 凸优化的统计鲁棒性在分布式环境中能在多大程度上容忍异步操作与数据竞争？

主要发现

• 在大规模分布式工作负载中，ASIP 加速的 SGD 和 ADMM 相较于同步的 Spark MLlib 实现，性能最高可提升 2.5 倍。
• 由于凸优化本身对延迟梯度和数据竞争具有内在鲁棒性，异步算法保持了统计正确性与收敛性保证。
• 异步带来的性能优势在分布式环境中依然成立，与单机系统中观察到的性能增益一致，反驳了网络延迟会抵消其优势的假设。
• ASIP 抽象通过仅传输增量编码的模型更新并异步传播，实现了极低通信开销的高效模型同步。
• 通过算子状态与输入队列的检查点机制，系统实现了容错能力，支持确定性重放，且开销可接受。
• 该设计表明，复杂异步分析可在通用数据流引擎中实现，而无需底层系统扩展或独立的执行后端。