[论文解读] Fundamental Limits of Coded Linear Transform

Sinong Wang, Jiashang Liu+2 more|arXiv (Cornell University)|Apr 25, 2018

Cooperative Communication and Network Coding参考文献 11被引用 33

一句话总结

本文提出s-对角码（s-diagonal code），一种新型编码计算策略，可在分布式线性变换中同时实现最优恢复阈值与最优计算负载，显著优于先前方法。此外，本文引入了概率随机编码（p-Bernoulli和(d₁,d₂)-交叉码），在大幅降低计算负载的同时实现接近最优的恢复阈值，实验验证表明在梯度下降中收敛速度最高可提升4倍。

ABSTRACT

In large scale distributed linear transform problems, coded computation plays an important role to effectively deal with "stragglers" (distributed computations that may get delayed due to few slow or faulty processors). We propose a coded computation strategy, referred to as diagonal code, that achieves the optimum recovery threshold and the optimum computation load. This is the first code that simultaneously achieves two-fold optimality in coded distributed linear transforms. Furthermore, by leveraging the idea from random proposal graph theory, we design two random codes that can guarantee optimum recovery threshold with high probability but with much less computation load. These codes provide order-wise improvement over the state-of-the-art. Moreover, the experimental results show significant improvement compared to both uncoded and existing coding schemes.

研究动机与目标

• 解决大规模分布式线性变换中因慢速节点导致的性能瓶颈。
• 确定编码分布式线性计算中恢复阈值与计算负载的根本极限。
• 设计一种编码策略，同时实现最优恢复阈值与最优计算负载。
• 开发概率编码方案，保证接近最优恢复阈值的同时显著降低计算负载。

提出的方法

• 提出s-对角码，一种确定性编码策略，实现恢复阈值n与计算负载n(s+1)的最优性。
• 设计一种结合剥除法与高斯消去法的混合解码算法，实现在输出维度上的近线性解码时间O(r)。
• 引入p-Bernoulli码，其中每个工作节点以概率p存储子矩阵的随机加权组合，确保高概率下恢复阈值为n。
• 提出(d₁,d₂)-交叉码，一种具有可控稀疏性的结构化随机编码，概率性保证最优恢复阈值的同时降低计算负载。
• 采用概率恢复阈值度量方法，评估在高概率慢速节点场景下的方案性能。
• 通过真实世界数据集与基于MPI通信模式的分布式计算仿真验证性能。

实验结果

研究问题

• RQ1 编码分布式线性变换的恢复阈值与计算负载是否存在根本下界？
• RQ2 能否设计一种单一编码方案，同时实现最优恢复阈值与最优计算负载？
• RQ3 随机编码方案能否在显著降低计算负载的同时实现接近最优的恢复阈值？
• RQ4 所提出的编码方案在真实分布式系统中面对慢速节点时表现如何？

主要发现

• s-对角码实现了理论最小恢复阈值n与最小计算负载n(s+1)，证明了其在恢复与负载两方面的最优性。
• 当p = 2 log(n)/n时，p-Bernoulli码在高概率下实现最优恢复阈值，同时相比多项式码将计算负载降低一个数量级。
• (2,2)-交叉码在任务完成时间上优于无编码、LT码、稀疏MDS码与多项式码，在s=4个慢速节点条件下，梯度下降收敛速度最高可提升4倍。
• 当s=2时，s-对角码优于(2,2)-交叉码；但随着s增大，(2,2)-交叉码保持稳定性能，而s-对角码因计算负载过高而性能下降。
• (2,2)-交叉码通过工作负载不规则性降低I/O争用，尽管计算负载相近，仍实现更快执行。
• 在编码梯度下降中，(2,2)-交叉码收敛速度至少比稀疏MDS快20%，比无编码与LT码快2倍，比多项式码快4倍（s=4时）。