[论文解读] Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali|arXiv (Cornell University)|Sep 17, 2020

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出Berrut近似编码计算（BACC），一种数值稳定、抗慢启动的编码计算框架，通过利用Berrut插值方法对任意函数进行近似，突破了传统多项式函数的限制。BACC在减少每个工作节点的通信与计算负载的同时，实现了比未编码和复制方案更快的收敛速度，并能容忍最多s个慢启动节点，适用于任意数量的服务器。

ABSTRACT

One of the major challenges in using distributed learning to train complicated models with large data sets is to deal with stragglers effect. As a solution, coded computation has been recently proposed to efficiently add redundancy to the computation tasks. In this technique, coding is used across data sets, and computation is done over coded data, such that the results of an arbitrary subset of worker nodes with a certain size are enough to recover the final results. The major challenges with those approaches are (1) they are limited to polynomial function computations, (2) the size of the subset of servers that we need to wait for grows with the multiplication of the size of the data set and the model complexity (the degree of the polynomial), which can be prohibitively large, (3) they are not numerically stable for computation over real numbers. In this paper, we propose Berrut Approximated Coded Computing (BACC), as an alternative approach, which is not limited to polynomial function computation. In addition, the master node can approximately calculate the final results, using the outcomes of any arbitrary subset of available worker nodes. The approximation approach is proven to be numerically stable with low computational complexity. In addition, the accuracy of the approximation is established theoretically and verified by simulation results in different settings such as distributed learning problems. In particular, BACC is used to train a deep neural network on a cluster of servers, which outperforms repetitive computation (repetition coding) in terms of the rate of convergence.

研究动机与目标

• 解决现有编码计算方法仅限于多项式函数且在实数域上存在数值不稳定的局限性。
• 开发一种数值稳定、通用的编码计算框架，用于分布式学习，支持任意函数和任意数量的服务器。
• 相比数据复制方案，降低每个工作节点的通信与计算开销，同时保持对慢启动节点的鲁棒性。
• 实现在真实数计算场景（如深度学习）中的实际部署，其中传统拉格朗日编码方法因Vandermonde矩阵病态而失效。
• 在存在慢启动节点的条件下，展示BACC在训练深度神经网络时具有更快的收敛速度和更高的精度。

提出的方法

• BACC采用Berrut插值——一种具有优越数值稳定性的重心有理插值方法——作为核心近似技术，用于从编码数据中重构梯度。
• 每个工作节点使用Berrut权重对K个小批量数据的线性组合计算梯度，Berrut权重由插值节点导出，确保在实数域上的稳定性。
• 主节点从任意N−s个工作节点（s为慢启动节点数）收集结果，并通过Berrut插值矩阵的逆矩阵解码完整梯度。
• 编码标签通过带Berrut系数的独热标签的归一化和形成，支持使用近似梯度的多标签分类。
• 该方案在编码数据上使用Sigmoid交叉熵损失和反向传播，仅在主节点执行解码，以最小化每个工作节点的计算量。
• 该方法通过使用Berrut有理插值避免求解病态Vandermonde系统，其条件数有界，避免了多项式基函数的问题。

实验结果

研究问题

• RQ1 能否设计一种编码计算框架，在保持实数域数值稳定性的同时，超越多项式函数的限制？
• RQ2 在存在慢启动节点的条件下，BACC在分布式深度学习中的收敛速度是否优于未编码和数据复制方案？
• RQ3 BACC中每个工作节点的通信与计算负载与数据复制和未编码方案相比如何？
• RQ4 Berrut插值的数值稳定性对分布式训练中梯度更新的准确性和收敛性有何影响？
• RQ5 BACC是否能以固定数量的服务器（N）容忍任意数量的慢启动节点（s），而与模型复杂度无关？

主要发现

• 在存在慢启动节点的条件下，BACC在MNIST、Fashion-MNIST和CIFAR-10数据集上达到指定测试精度的收敛速度优于数据复制和未编码方案。
• 在LeNet架构下，当N=3、s=1和N=5、s=2时，BACC在达到目标精度的墙钟时间上优于数据复制方案，尽管后者最终略微超越。
• 未编码方案收敛最快，但由于慢启动节点存在导致数据使用不完整，最终未能达到目标精度。
• 与数据复制方案相比，BACC降低了每个工作节点的通信与计算负载，后者要求每个工作节点处理两个原始数据样本，而BACC仅需处理一个编码样本。
• 理论分析表明，Berrut插值避免了Vandermonde矩阵的指数级条件数增长，确保了实数计算的数值稳定性。
• 仿真结果验证了BACC近似的准确性，显示解码后的梯度与真实梯度高度吻合，从而支持有效的模型更新。