[论文解读] A locality-based approach for coded computation

Michael Rudow, K. V. Rashmi+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Data Storage Technologies参考文献 54被引用 9

一句话总结

本文提出了一种基于局部性的编码计算框架，通过利用纠错码的局部性特性来建模计算容错能力，从而在多变量多项式计算中实现比现有方法更少的计算节点。通过利用 Reed-Muller 码的局部恢复机制，该方法在计算局部性的支持下，能够容忍 s 个慢启动节点，打破了以往针对非线性函数的 s 倍计算节点开销的限制。

ABSTRACT

Modern distributed computation infrastructures are often plagued by unavailabilities such as failing or slow servers. These unavailabilities adversely affect the tail latency of computation in distributed infrastructures. The simple solution of replicating computation entails significant resource overhead. Coded computation has emerged as a resource-efficient alternative, wherein multiple units of data are encoded to create parity units and the function to be computed is applied to each of these units on distinct servers. A decoder can use the available function outputs to decode the unavailable ones. Existing coded computation approaches are resource efficient only for simple variants of linear functions such as multilinear, with even the class of low degree polynomials requiring the same multiplicative overhead as replication for practically relevant straggler tolerance. In this paper, we present a new approach to model coded computation via the lens of locality of codes. We introduce a generalized notion of locality, denoted computational locality, building upon the locality of an appropriately defined code. We show that computational locality is equivalent to the required number of workers for coded computation and leverage results from the well-studied locality of codes to design coded computation schemes. We show that recent results on coded computation of multivariate polynomials can be derived using local recovering schemes for Reed-Muller codes. We present coded computation schemes for multivariate polynomials that adaptively exploit locality properties of input data-- an inadmissible technique under existing frameworks. These schemes require fewer workers than the lower bound under existing coded computation frameworks, showing that the existing multiplicative overhead on the number of servers is not fundamental for coded computation of nonlinear functions.

研究动机与目标

• 为解决现有编码计算方案在非线性函数（特别是多变量多项式）计算中资源开销过高的问题。
• 克服以往方法的根本性限制：即使对于低次非线性函数，为容忍 s 个慢启动节点，仍需 s 倍的计算节点。
• 建立一个将计算容错能力与底层编码的局部性联系起来的新理论框架。
• 设计能够自适应利用输入数据局部性的编码计算方案，使所需计算节点数低于现有理论下限。
• 证明 s 倍计算节点开销并非非线性编码计算的根本限制。

提出的方法

• 提出一种基于编码局部性的新计算局部性概念，直接关联到所需计算节点的数量。
• 将编码计算建模为一种编码，其中每个函数求值对应一个码字，并使用删失码分析局部恢复。
• 应用已知的 Reed-Muller 码局部恢复机制，构建用于多变量多项式的编码计算方案。
• 设计可自适应利用数据特异性局部性的方案，使所需计算节点数低于现有理论下限。
• 通过多项式复合的插值方法，从部分计算节点结果中恢复输出，计算局部性决定所需计算节点数。
• 从编码局部性的视角重新诠释现有方案（如多项式码和 MatDot 码），揭示其底层结构。

实验结果

研究问题

• RQ1 能否在非线性函数的编码计算中，将计算节点开销降低至现有方法所需的 s 倍以下？
• RQ2 s 倍计算节点开销是否是非线性编码计算中多变量多项式计算的根本限制？
• RQ3 如何系统性地利用编码的局部性特性来设计更高效的编码计算方案？
• RQ4 能否在现有输入无关框架不支持的前提下，以一种可行方式利用输入特定的数据局部性？
• RQ5 成熟研究的编码局部性结果在多大程度上可被迁移至编码计算领域？

主要发现

• 所提出的基于局部性的模型建立了计算局部性与编码计算所需最少计算节点数之间的等价关系。
• 该方法实现了对多变量多项式的编码计算方案，其使用计算节点数低于现有框架的理论下限，打破了 s 倍开销的壁垒。
• 对于 (s+1) 次多变量多项式，该方案仅需 s+1 个计算节点即可容忍 s 个慢启动节点，而以往方法需 s×(s+1) 个计算节点。
• 该方法通过基于 Reed-Muller 码局部性的统一框架，重现了已知的最优方案（如多项式码和 MatDot 码）。
• MatDot 码中码符号的计算局部性上界为 2t−1+s，显著低于多项式码中的 t²+s 上界，但代价是通信开销更高。
• 该框架支持可自适应利用输入数据局部性的方案，而这类方案在传统输入无关模型中无法实现。