[论文解读] A Randomized Asynchronous Linear Solver with Provable Convergence Rate

Haim Avron, Alex Druinsky+1 more|arXiv (Cornell University)|Apr 24, 2013

Stochastic Gradient Optimization Techniques参考文献 11被引用 2

一句话总结

本文提出了一种针对一般对称正定矩阵的随机化、共享内存异步线性求解器，当处理器数量相对于矩阵规模和稀疏性不过大时，其收敛速率接近同步版本，实现线性收敛。随机化使得无需同步即可实现进展，确保了收敛性，并提供了收敛速率的可证明界限。

ABSTRACT

Asynchronous methods for solving systems of linear equations have been researched since Chazan and Miranker published their pioneering paper on chaotic relaxation in 1969. The underlying idea of asynchronous methods is to avoid processor idle time by allowing the processors to continue to work and make progress even if not all progress made by other processors has been communicated to them. Historically, work on asynchronous methods for solving linear equations focused on proving convergence in the limit. How the rate of convergence compares to the rate of convergence of the synchronous counterparts, and how it scales when the number of processors increase, was seldom studied and is still not well understood. Furthermore, the applicability of these methods was limited to restricted classes of matrices (e.g., diagonally dominant matrices). We propose a shared-memory asynchronous method for general symmetric positive definite matrices. We rigorously analyze the convergence rate and prove that it is linear and close to that of our method’s synchronous counterpart as long as not too many processors are used (relative to the size and sparsity of the matrix). A key component is randomization, which allows the processors to make guaranteed progress without introducing synchronization. Our analysis shows a convergence rate that is linear in the condition number of the matrix, and depends on the number of processors and the degree to which the matrix is sparse.

研究动机与目标

• 为解决异步线性求解器中缺乏收敛速率分析的问题，特别是针对一般对称正定矩阵。
• 克服先前方法仅限于特定矩阵类（如对角占优矩阵）的局限性。
• 设计一种异步求解器，可在无需处理器间同步的情况下保持快速收敛。
• 严格分析收敛速率如何随处理器数量和矩阵稀疏性变化。
• 在合理处理器数量下，建立与同步版本收敛速率相近的理论基础。

提出的方法

• 该方法采用随机化，使处理器可在不等待其他处理器的情况下更新变量，从而消除同步需求并确保进展。
• 采用基于随机选择待更新变量的异步高斯-赛德尔型更新规则。
• 该算法专为共享内存架构设计，支持对共享数据结构的并发访问，并使用原子操作。
• 收敛性分析基于利用对称正定矩阵的性质，对每次迭代中误差的期望下降量进行有界。
• 该方法将矩阵稀疏性和条件数纳入收敛速率界限，表明其对这些结构特性的依赖。
• 一项关键的理论贡献是证明了线性收敛，且当处理器数量相对于矩阵规模和稀疏性较小时，其收敛速率趋近于同步方法的速率。

实验结果

研究问题

• RQ1 对于一般对称正定矩阵，异步线性求解器的收敛速率与同步版本相比如何？
• RQ2 在无同步的情况下，处理器数量对异步求解器收敛速率有何影响？
• RQ3 能否通过随机化在无同步的情况下保证异步线性求解器的进展与收敛？
• RQ4 矩阵稀疏性和条件数如何影响异步求解器的收敛速率？
• RQ5 除了极限收敛外，能否为异步方法的收敛速率建立理论界限？

主要发现

• 当处理器数量相对于矩阵规模和稀疏性不过大时，所提出的异步求解器实现了接近同步版本的线性收敛速率。
• 收敛速率与矩阵的条件数呈线性关系，该条件数量化了对解的扰动敏感性。
• 该方法的收敛速率受处理器数量影响，当处理器数量超过某一阈值后，收敛速率会下降。
• 随机化使得无需同步即可保证进展，使算法能够避免空闲时间并实现高效扩展。
• 理论分析表明，收敛速率随矩阵稀疏性有利变化，表明在稀疏系统上性能更优。
• 该方法适用于一般对称正定矩阵，扩展了此前仅限于特定类别的研究范围。