[论文解读] Generalized Fractional Repetition Codes for Binary Coded Computations

Neophytos Charalambides, Hessam Mahdavifar+1 more|arXiv (Cornell University)|Sep 22, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了一种基于广义分数重复编码的数值稳定、二进制编码梯度编码方案，避免了浮点数运算，从而在分布式计算中实现鲁棒的慢速节点容错。该方法确保了低复杂度解码，支持异构计算节点，并可扩展至编码矩阵乘法，具有不同的性能权衡。

ABSTRACT

This paper addresses the gradient coding and coded matrix multiplication problems in distributed optimization and coded computing. We present a numerically stable binary coding method which overcomes the drawbacks of the extit{Fractional Repetition Coding} gradient coding method proposed by Tandon et al., and can also be leveraged by coded computing networks whose servers are of heterogeneous nature. Specifically, we propose a construction for fractional repetition gradient coding; while ensuring that the generator matrix remains close to perfectly balanced for any set of coded parameters, as well as a low complexity decoding step. The proposed binary encoding avoids operations over the real and complex numbers which are inherently numerically unstable, thereby enabling numerically stable distributed encodings of the partial gradients. We then make connections between gradient coding and coded matrix multiplication. Specifically, we show that any gradient coding scheme can be extended to coded matrix multiplication. Furthermore, we show how the proposed binary gradient coding scheme can be used to construct two different coded matrix multiplication schemes, each achieving different trade-offs.

研究动机与目标

• 解决现有梯度编码方案依赖实数或复数运算所导致的数值不稳定性问题。
• 开发一种确定性的二进制编码方法，避免浮点数运算，同时保持计算节点间的工作负载均衡。
• 将分数重复编码推广至更一般的情形，突破原有假设中要求 (s+1) 整除 n 的限制（其中 s 为可容忍的慢速节点数）。
• 实现在大规模分布式系统中无需预先计算大型解码矩阵的高效解码，尤其降低计算开销。
• 建立一个框架，将梯度编码方案扩展至编码矩阵乘法，并在性能与复杂度之间实现不同权衡。

提出的方法

• 提出一种广义分数重复编码（GFRC）构造方法，即使在 (s+1)∤n 的情况下，也能保持生成矩阵的平衡性，从而确保任务在计算节点间均匀分布。
• 采用 {0,1} 上的二进制编码，消除浮点数运算带来的数值不稳定性，支持在分布式梯度计算中使用定点数运算。
• 设计一种低复杂度的在线解码算法，避免预先构建大型解码矩阵，从而减少计算开销。
• 提出一种面向异构计算节点的任务分配策略，通过考虑不同计算速度，使各节点的预期完成时间相等。
• 通过利用梯度的可加性与矩阵乘积的结构，建立任意精确梯度编码方案向编码矩阵乘法方案的转换方法。
• 从所提出的二进制梯度编码框架中推导出两种不同的编码矩阵乘法方案，各自在修复带宽与计算负载之间实现不同的性能权衡。

实验结果

研究问题

• RQ1 如何在不依赖浮点数运算的前提下，使分布式系统中的梯度编码实现数值稳定？
• RQ2 当 (s+1) 不整除计算节点数 n 时，能否将分数重复编码推广至通用情形，同时保持负载均衡与解码效率？
• RQ3 所提出的二进制编码方法如何适配计算能力各异的异构计算节点环境？
• RQ4 梯度编码与编码矩阵乘法之间存在何种关系？如何实现二者之间的相互转换？
• RQ5 将所提出的梯度编码方案应用于编码矩阵乘法时，会产生哪些性能权衡？如何实现优化？

主要发现

• 所提出的广义分数重复编码即使在 (s+1)∤n 的情况下，仍能保持生成矩阵的平衡性，确保任务在计算节点间均匀分配。
• 二进制编码方案避免了浮点数运算，从而消除了梯度计算中的数值不稳定性，支持定点数实现。
• 解码过程通过避免预先计算大型解码矩阵，实现了低复杂度，支持在线解码且内存开销极小。
• 通过合理分配任务，使各计算节点的预期完成时间相等，该方法有效支持异构计算节点环境，缓解计算异构性带来的偏差。
• 任何精确梯度编码方案均可通过简单修改编码与解码步骤，转化为编码矩阵乘法方案，从而实现对慢速节点的容错性矩阵乘法。
• 从所提出的框架中推导出两种不同的编码矩阵乘法方案，各自在修复带宽与计算负载之间实现不同的性能权衡。