[论文解读] A Sequential Approximation Framework for Coded Distributed Optimization

Jingge Zhu, Ye Pu+3 more|arXiv (Cornell University)|Oct 24, 2017

Stochastic Gradient Optimization Techniques参考文献 7被引用 6

一句话总结

本文提出了一种用于编码分布式优化的顺序近似框架，通过允许任何已完成处理器子集提前输出有用结果，加速了存在慢速处理器（stragglers）的系统中的计算。通过采用编码的顺序计算方案进行矩阵-向量乘法，该方法保证在部分计算完成后任意时间点都能获得近似解，其编码方案的最优性已得到证明，并在优化收敛时间方面展现出显著提升。

ABSTRACT

Building on the previous work of Lee et al. and Ferdinand et al. on coded computation, we propose a sequential approximation framework for solving optimization problems in a distributed manner. In a distributed computation system, latency caused by individual processors ("stragglers") usually causes a significant delay in the overall process. The proposed method is powered by a sequential computation scheme, which is designed specifically for systems with stragglers. This scheme has the desirable property that the user is guaranteed to receive useful (approximate) computation results whenever a processor finishes its subtask, even in the presence of uncertain latency. In this paper, we give a coding theorem for sequentially computing matrix-vector multiplications, and the optimality of this coding scheme is also established. As an application of the results, we demonstrate solving optimization problems using a sequential approximation approach, which accelerates the algorithm in a distributed system with stragglers.

研究动机与目标

• 为解决分布式优化中的慢速处理器问题，即慢速处理器导致整体计算延迟。
• 设计一种编码方案，即使在处理器延迟不确定的情况下，也能实现矩阵-向量乘法的早期、有用近似。
• 将该编码方案集成到顺序近似框架中，以更高效地求解大规模优化问题。
• 证明所提出的编码方案在顺序恢复矩阵-向量积方面的最优性。

提出的方法

• 该框架使用线性编码方案对矩阵块在处理器间进行编码，使得任何已完成处理器的子集均可恢复部分结果。
• 设计了一种顺序计算方案，使得任意 i 个处理器（i ≥ 1）均可恢复矩阵-向量积，从而实现早期近似。
• 该编码方案基于类似MDS的原理，每个处理器存储来自多个矩阵的行的线性组合，以实现最小存储和最大恢复灵活性。
• 该方法证明了每个矩阵块所需存储的下限，表明在顺序恢复约束下，所提方案为最优。
• 该框架通过迭代求解逼近解的方式，与交替方向乘子法（ADMM）和近端梯度等方法集成，使逼近解收敛至原始问题。
• 理论分析表明，该编码方案在顺序恢复中实现了最优存储利用率，与推导出的每矩阵块总存储量的下限完全一致。

实验结果

研究问题

• RQ1 通过利用非慢速处理器的部分计算结果，分布式优化系统是否能更早获得有用结果？
• RQ2 在能够从任意 i 个处理器中恢复矩阵-向量积的前提下，编码方案的最小存储需求是多少？
• RQ3 如何将编码计算集成到迭代优化算法中，以在存在慢速处理器的情况下加速收敛？
• RQ4 所提出的用于顺序矩阵-向量乘法的编码方案在存储使用方面是否最优？
• RQ5 此类顺序编码计算方案的理论性能极限是什么？

主要发现

• 所提出的用于顺序矩阵-向量乘法的编码方案在存储使用方面是最优的，与推导出的每矩阵块总存储量的下限完全匹配。
• 该方案保证使用任意 i 个处理器（i 从 1 到 L）均可恢复矩阵-向量积，从而实现结果的早期近似。
• 当 i 整除 k_i 时，每矩阵的最优存储为 L*k_i/i；否则，该界限为 L*floor(k_i/i) + L - i + mod(k_i, i)。
• 该框架通过允许早期收敛到近似解，显著减少了存在慢速处理器的分布式系统中的整体优化时间。
• 该方法以用户为中心，无需处理器知晓不同的近似级别，简化了实现。
• 顺序近似框架通过及时利用部分计算结果，加速了近端梯度和ADMM等优化算法的收敛。