[论文解读] Coding Method for Parallel Iterative Linear Solver

Yaoqing Yang, Pulkit Grover+1 more|arXiv (Cornell University)|Jun 1, 2017

Stochastic Gradient Optimization Techniques参考文献 33被引用 9

一句话总结

本文提出了一种用于并行迭代线性求解器的编码计算方法，利用纠错码原理缓解分布式计算中的慢启动者（straggler）效应。与以往丢弃慢启动者结果的方法不同，该方法通过加权最小二乘解码，结合所有工作者的输出——包括部分收敛和非收敛结果——显著降低了均方误差（MSE），在个性化PageRank的真实实验中，理论MSE比值差异最高可达10⁴。

ABSTRACT

Computationally intensive distributed and parallel computing is often bottlenecked by a small set of slow workers known as stragglers. In this paper, we utilize the emerging idea of "coded computation" to design a novel error-correcting-code inspired technique for solving linear inverse problems under specific iterative methods in a parallelized implementation affected by stragglers. Example applications include inverse problems in machine learning on graphs, such as personalized PageRank and sampling on graphs. We provably show that our coded-computation technique can reduce the mean-squared error under a computational deadline constraint. In fact, the ratio of mean-squared error of replication-based and coded techniques diverges to infinity as the deadline increases. Our experiments for personalized PageRank performed on real systems and real social networks show that this ratio can be as large as $10^4$. Further, unlike coded-computation techniques proposed thus far, our strategy combines outputs of all workers, including the stragglers, to produce more accurate estimates at the computational deadline. This also ensures that the accuracy degrades "gracefully" in the event that the number of stragglers is large.

研究动机与目标

• 解决分布式迭代线性求解器中的慢启动者效应，即慢速工作者导致性能下降并限制加速比的问题。
• 克服现有编码计算技术的局限性，即丢弃慢启动者结果作为删除项（erasures）处理。
• 设计一种策略，使准确度随慢启动者数量增加而平滑下降，同时仍能提升收敛速度和解的准确性。
• 通过结合所有工作者的局部结果（即使未完全收敛）实现真实系统中的实际部署。
• 在计算截止时间条件下，通过理论和实证分析证明所提方法在均方误差（MSE）方面优于基于复制的方法。

提出的方法

• 通过将原始问题及其线性组合的多个线性逆问题分发到工作者，实现计算的编码，以创建冗余。
• 采用结构化编码方案，使组合问题（如两个解的和）的解与单个问题的解并行计算。
• 使用加权最小二乘算法进行解码，为接近收敛的工作者分配更高权重，将未收敛结果视为软噪声。
• 将解码过程建模为求解一个线性系统，其中解码矩阵由编码矩阵和工作者可靠性估计推导得出。
• 基于每个工作者的收敛进度估计，预先计算一个对角权重矩阵Λ，实现在解码过程中动态加权。
• 将该方法集成到幂迭代（用于个性化PageRank）和投影梯度下降（用于图信号恢复）等迭代求解器中，确保与真实工作负载的兼容性。

实验结果

研究问题

• RQ1 一种利用所有工作者输出（包括未收敛的慢启动者）的编码计算策略，是否能在迭代线性求解器中实现比基于复制的方法更低的均方误差？
• RQ2 随着计算截止时间的增加，编码方法与基于复制的方法之间的性能差距如何变化？
• RQ3 结合慢启动者的部分结果是否会降低准确度，还是仍能对解的估计做出有意义的贡献？
• RQ4 所提方法是否能避免传统基于删除的解码中在求逆快速工作者子矩阵时出现的病态问题？
• RQ5 在迭代求解器中，使用结果的软加权组合相比硬删除模型，其理论和实证优势为何？

主要发现

• 在固定计算截止时间内，所提编码计算方法相比基于复制的方法显著降低了均方误差（MSE），且随着截止时间增加，MSE比值趋于无穷大。
• 在Twitter和Google Plus社交网络的真实实验中，2秒截止时间内，编码个性化PageRank的MSE比基于复制的方法低至10⁴倍。
• 该方法实现了平滑降级：即使存在大量慢启动者，解的准确度也平稳下降，而非突然失效。
• 与以往仅丢弃慢启动者结果的编码计算技术不同，本方法充分利用所有工作者输出，从而提升了鲁棒性和准确性。
• 基于工作者特定可靠性权重的加权最小二乘解码过程，避免了传统方法中因求逆快速工作者子矩阵而引发的病态问题。
• 编码和解码的计算复杂度为O(nkN)，其中n为工作者数量，k为编码问题数量，N为问题规模，因此适用于大规模图问题。