[论文解读] Coded Iterative Computing using Substitute Decoding

Yaoqing Yang, Malhar Chaudhari+2 more|arXiv (Cornell University)|May 15, 2018

Stochastic Gradient Optimization Techniques参考文献 42被引用 8

一句话总结

本文提出了一种新型编码计算技术——替代解码（substitute decoding），利用低密度生成矩阵（LDGM）码，在分布式系统中实现鲁棒的迭代计算。尽管LDGM码的纠错能力较弱，但替代解码利用了迭代方法的收敛特性——将前一迭代的输出作为辅助信息，以重建丢失的数据，即使生成矩阵每行仅有2–3个非零元素，也能实现接近无噪声的收敛速率。

ABSTRACT

In this paper, we propose a new coded computing technique called "substitute decoding" for general iterative distributed computation tasks. In the first part of the paper, we use PageRank as a simple example to show that substitute decoding can make the computation of power iterations solving PageRank on sparse matrices robust to erasures in distributed systems. For these sparse matrices, codes with dense generator matrices can significantly increase storage costs and codes with low-density generator matrices (LDGM) are preferred. Surprisingly, we show through both theoretical analysis and simulations that when substitute decoding is used, coded iterative computing with extremely low-density codes (2 or 3 non-zeros in each row of the generator matrix) can achieve almost the same convergence rate as noiseless techniques, despite the poor error-correction ability of LDGM codes. In the second part of the paper, we discuss applications of substitute decoding beyond solving linear systems and PageRank. These applications include (1) computing eigenvectors, (2) computing the truncated singular value decomposition (SVD), and (3) gradient descent. These examples show that the substitute decoding algorithm is useful in a wide range of applications.

研究动机与目标

• 解决在稀疏矩阵的编码分布式计算中，密集编码带来的高存储与计算开销问题。
• 在分布式系统中实现对工作者丢失和慢速节点的鲁棒迭代计算。
• 证明当结合一种新型解码策略时，低密度生成矩阵（LDGM）码可实现接近最优的收敛速率。
• 将编码计算的适用范围从线性系统扩展至特征向量计算、截断SVD和梯度下降等任务。

提出的方法

• 提出替代解码，一种将编码工作者的部分结果与前一迭代输出的辅助信息相结合的解码策略。
• 采用正交投影：一个投影到可用部分结果的空间（Proj₁），另一个投影到其正交补空间（Proj₂），以重建下一时刻的迭代值。
• 采用两段式重建：x_{t+1} = Proj₁[f(x_t)] + Proj₂[x_t]，其中f(x_t)为迭代函数（例如矩阵-向量乘法）。
• 通过耦合线性系统和向量化方法分析误差传播，推导出涉及部分生成矩阵秩的递归误差界。
• 定义了一个乘法误差因子δ，其随部分生成矩阵的秩增加而减小，当部分矩阵满秩时趋近于零。
• 利用谱分析和期望界分析，表明误差按(1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂²衰减，其中δ取决于投影质量。

实验结果

研究问题

• RQ1 尽管LDGM码的纠错能力较弱，能否在稀疏矩阵的迭代编码计算中有效应用？
• RQ2 替代解码如何利用迭代方法的收敛行为来补偿分布式计算中的丢失？
• RQ3 替代解码的理论误差衰减速率是多少？其性能能多接近无噪声收敛？
• RQ4 替代解码能否推广至PageRank之外的其他迭代任务，如SVD和梯度下降？
• RQ5 生成矩阵密度（例如每行2或3个非零元素）在存在丢失的情况下对收敛性能有何影响？

主要发现

• 使用每行仅含2个非零元素的LDGM码进行编码迭代计算，在恒定比例的工作者丢失下，其收敛速率显著优于复制或未编码方法。
• 当生成矩阵每行包含3个非零元素时，编码系统的收敛速率与无噪声计算极为接近，实现了近乎最优的性能。
• 重建迭代值中的误差按乘法因子δ衰减，当由未丢失工作者构成的部分生成矩阵接近满秩时，δ趋近于零。
• 理论分析表明，误差界取决于扩展码矩阵的谱范数和投影质量，收敛过程由(1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂²决定。
• 替代解码使稀疏码在迭代计算中得以应用，即使其最小距离较差，也未牺牲收敛速度。
• 该方法具有通用性，对特征向量计算、截断SVD和梯度下降等任务均有效，展现出超越PageRank的广泛适用性。