[论文解读] Distributed Matrix Multiplication Using Speed Adaptive Coding.

Krishna Giri Narra, Zhifeng Lin+3 more|arXiv (Cornell University)|Apr 15, 2019

Stochastic Gradient Optimization Techniques参考文献 40被引用 4

一句话总结

本文提出 $S^2C^2$，一种速度自适应编码计算框架，通过使用LSTM模型基于实时速度预测动态地将工作负载分配给快速和慢速节点，在分布式矩阵乘法及其他线性代数工作负载中，与复制和标准编码计算相比，将总计算延迟降低了19%至39%。

ABSTRACT

While performing distributed computations in today's cloud-based platforms, execution speed variations among compute nodes can significantly reduce the performance and create bottlenecks like stragglers. Coded computation techniques leverage coding theory to inject computational redundancy and mitigate stragglers in distributed computations. In this paper, we propose a dynamic workload distribution strategy for coded computation called Slack Squeeze Coded Computation ($S^2C^2$). $S^2C^2$ squeezes the compute slack (i.e., overhead) that is built into the coded computing frameworks by efficiently assigning work for all fast and slow nodes according to their speeds and without needing to re-distribute data. We implement an LSTM-based speed prediction algorithm to predict speeds of compute nodes. We evaluate $S^2C^2$ on linear algebraic algorithms, gradient descent, graph ranking, and graph filtering algorithms. We demonstrate a 19% to 39% reduction in total computation latency using $S^2C^2$ compared to job replication and coded computation. We further show how $S^2C^2$ can be applied beyond linear algebra.

研究动机与目标

• 解决云环境下的分布式计算中由慢速节点引起的性能瓶颈。
• 通过根据节点速度智能分配工作负载，减少传统编码计算框架中固有的计算冗余。
• 通过动态速度感知的任务分配，消除工作负载重新分配期间的数据重分布需求。
• 将编码计算的适用范围从线性代数扩展到梯度下降、图排名和图过滤等算法。
• 通过实时速度预测和自适应工作负载分配，改善端到端计算延迟。

提出的方法

• 采用基于LSTM的速度预测模型，实时估算计算节点的执行速度。
• 设计一种动态工作负载分配策略，根据预测速度将更多任务分配给更快的节点，更少任务分配给较慢的节点。
• 将速度预测结果集成到编码计算框架中，以最小化冗余计算并降低整体延迟。
• 通过将任务分配与实际节点性能对齐，在无需数据重分布的情况下，压缩编码框架中的固有计算冗余。
• 将 $S^2C^2$ 框架应用于多种计算工作负载，包括矩阵乘法、梯度下降、图排名和图过滤。
• 使用冗余压缩机制优化任务分配，使在不同节点速度下总计算时间最小化。

实验结果

研究问题

• RQ1 在节点速度异构的情况下，如何有效减少编码计算框架中的计算冗余？
• RQ2 基于LSTM的速度预测在多大程度上能提升分布式矩阵乘法中工作负载分配的准确性并降低整体延迟？
• RQ3 $S^2C^2$ 是否能在多种计算工作负载中实现比任务复制和传统编码计算更低的延迟？
• RQ4 $S^2C^2$ 中的动态工作负载分配策略在执行期间无需数据重分布的情况下表现如何？
• RQ5 $S^2C^2$ 在多大程度上可扩展至线性代数计算之外，适用于其他迭代和图算法？

主要发现

• $S^2C^2$ 在分布式矩阵乘法中相比任务复制和传统编码计算，将总计算延迟降低了19%至39%。
• 基于LSTM的速度预测模型能够准确估算节点执行速度，从而实现高效的工作负载平衡。
• 该框架通过基于实时速度预测的动态任务分配，成功消除了运行时数据重分布的需求。
• $S^2C^2$ 的性能增益在多种工作负载中保持一致，包括梯度下降、图排名和图过滤算法。
• 冗余压缩机制有效减少了空闲时间和计算冗余，提升了整体系统效率。
• 所提出的方法在扩展性与适应性方面表现出色，可超越线性代数，适用于迭代和图计算任务。