[论文解读] ASAP: Asynchronous Approximate Data-Parallel Computation

Asim Kadav, Erik Kruus|arXiv (Cornell University)|Dec 27, 2016

Parallel Computing and Optimization Techniques参考文献 46被引用 4

一句话总结

ASAP 引入了一种异步近似数据并行计算模型，采用随机归约和 NOTIFY-ACK 语义，以减少分布式机器学习中的同步和通信开销。该模型在保证收敛至与同步所有归约相同结果的前提下，实现了 2–10 倍的更快收敛速度，以及高达 10 倍的更低网络开销。

ABSTRACT

Emerging workloads, such as graph processing and machine learning are approximate because of the scale of data involved and the stochastic nature of the underlying algorithms. These algorithms are often distributed over multiple machines using bulk-synchronous processing (BSP) or other synchronous processing paradigms such as map-reduce. However, data parallel processing primitives such as repeated barrier and reduce operations introduce high synchronization overheads. Hence, many existing data-processing platforms use asynchrony and staleness to improve data-parallel job performance. Often, these systems simply change the synchronous communication to asynchronous between the worker nodes in the cluster. This improves the throughput of data processing but results in poor accuracy of the final output since different workers may progress at different speeds and process inconsistent intermediate outputs. In this paper, we present ASAP, a model that provides asynchronous and approximate processing semantics for data-parallel computation. ASAP provides fine-grained worker synchronization using NOTIFY-ACK semantics that allows independent workers to run asynchronously. ASAP also provides stochastic reduce that provides approximate but guaranteed convergence to the same result as an aggregated all-reduce. In our results, we show that ASAP can reduce synchronization costs and provides 2-10X speedups in convergence and up to 10X savings in network costs for distributed machine learning applications and provides strong convergence guarantees.

研究动机与目标

• 解决数据并行机器学习和图处理工作负载中的高同步和通信开销问题。
• 在不牺牲收敛保证的前提下，实现异步、近似的计算。
• 通过放松严格的同步机制，降低迭代收敛算法中的网络和 CPU 开销。
• 为开发者提供可证明的收敛边界，并支持性能与准确率之间的可调权衡。

提出的方法

• 提出随机归约，一种稀疏归约原语，通过稀疏扩展图选择部分工作者进行聚合操作。
• 采用 NOTIFY-ACK 语义实现细粒度的异步工作者协调，替代粗粒度的屏障机制。
• 使用从稀疏扩展图导出的双重随机通信矩阵 P，以确保影响的公平性和收敛性。
• 将更新过程建模为通过矩阵幂在网络中传播的加权梯度和：w_t = -∑_{k=0}^{t-1} η_k P^{t-k} g_k。
• 利用谱间隙（1 - σ₂(P)）量化并优化通信拓扑的收敛速度。
• 构建具有大谱间隙的通信图，以确保信息快速扩散并实现快速收敛。

实验结果

研究问题

• RQ1 异步、近似的并行数据计算能否在保持正确性的同时，实现比同步方法更快的收敛速度？
• RQ2 如何在不降低最终模型准确率的前提下，减少分布式机器学习中的通信和同步开销？
• RQ3 哪些网络拓扑特性（例如谱间隙）可确保近似归约操作的收敛性？
• RQ4 使用稀疏扩展图的随机归约能否维持与所有归约相当的收敛保证？
• RQ5 与传统的屏障同步相比，NOTIFY-ACK 协调机制如何提升性能？

主要发现

• ASAP 通过用细粒度的 NOTIFY-ACK 协调替代全局屏障，显著降低了同步开销，提升了工作者的独立性。
• 使用稀疏扩展图的随机归约可实现高达 10 倍的网络通信开销降低。
• 在分布式机器学习工作负载中，ASAP 相较于同步所有归约，实现了 2–10 倍的收敛时间加速。
• 只要通信图是双重随机的且具有较大的谱间隙，收敛即可被可证明地保证为与所有归约相同的结果。
• 由于随机归约算子的数学特性，使用 ASAP 的系统即使在异步和延迟更新的情况下，仍能保持强一致性和准确性。
• 通信矩阵 P 的谱间隙（1 - σ₂(P)）是收敛速度的关键决定因素，更大的谱间隙可实现更快的收敛。