[论文解读] An Asynchronous Parallel Randomized Kaczmarz Algorithm

Ji Liu, Stephen J. Wright+1 more|arXiv (Cornell University)|Jan 20, 2014

Stochastic Gradient Optimization Techniques参考文献 27被引用 44

一句话总结

该论文提出 AsyRK，一种用于求解大规模稀疏线性系统 $Ax = b$ 的异步并行随机 Kaczmarz 算法。通过允许多个处理器在无同步的情况下并发更新解向量，当处理器数量受系统规模和 $A^TA$ 的谱性质的函数限制时，该算法实现了线性收敛，并获得近乎线性的加速效果，其收敛速度优于异步随机梯度方法。

ABSTRACT

We describe an asynchronous parallel variant of the randomized Kaczmarz (RK) algorithm for solving the linear system $Ax=b$. The analysis shows linear convergence and indicates that nearly linear speedup can be expected if the number of processors is bounded by a multiple of the number of rows in $A$.

研究动机与目标

• 开发一种可扩展的并行算法，用于求解大规模稀疏线性系统 $Ax = b$，并最小化同步开销。
• 在实际的并行执行模型下，分析随机 Kaczmarz 方法异步变体的收敛行为。
• 建立在实现近似线性加速时，最大处理器数量的理论边界。
• 证明异步方法可实现线性收敛，优于 Hogwild! 风格方法的亚线性 $1/t$ 收敛率。

提出的方法

• 该算法采用异步无锁更新机制，多个处理器独立采样 $A$ 的行，并在共享内存中无协调地更新解向量 $x$。
• 每个处理器以与 $\|a_i\|^2 / \|A\|_F^2$ 成比例的概率选择行 $i$，然后应用标准的 Kaczmarz 更新：$x_{j+1} = x_j - \frac{a_i^T x_j - b_i}{\|a_i\|^2} a_i$。
• 通过引入有界延迟 $\tau$ 来建模真实世界共享内存并行系统中的异步行为，以反映更新延迟的影响。
• 关键技术组件是采用步长 $\gamma = 1/\psi$，其中 $\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$，以确保在延迟约束下仍能收敛。
• 收敛性证明基于对解集距离期望减少量的界，利用 $A^T A$ 的谱范数和特征值界。
• 理论分析表明收敛率为 $\mathbb{E}[\|x_j - x_j^*\|^2] \leq (1 - \frac{\lambda_{\min}\gamma}{m}(2 - \psi\gamma)) \mathbb{E}[\|x_{j-1} - x_{j-1}^*\|^2]$，其中 $\gamma = 1/\psi$。

实验结果

研究问题

• RQ1 随机 Kaczmarz 方法能否在无同步的共享内存环境中被有效并行化，同时不牺牲收敛性？
• RQ2 异步 Kaczmarz 算法中，仍能实现近乎线性加速的最大处理器数量是多少？
• RQ3 异步变体是否实现线性收敛？与 Hogwild! 风格方法的 $1/t$ 亚线性收敛率相比如何？
• RQ4 更新延迟和旧梯度对异步 Kaczmarz 方法收敛率有何影响？
• RQ5 能否推导出一种步长规则，以确保在有界异步和 $A^T A$ 的谱约束下实现收敛？

主要发现

• AsyRK 算法在有界异步条件下实现了线性收敛，期望误差在每一步几何级减少。
• 收敛率为 $\mathbb{E}[\|x_j - x_j^*\|^2] \leq \left(1 - \frac{\lambda_{\min}}{m(\mu+1)}\right)^j \|x_0 - x_0^*\|^2$，表明其具有线性收敛特性。
• 当处理器数量受 $O(m / \lambda_{\max})$ 限制时，可实现近乎线性加速，其中 $m$ 为行数，$\lambda_{\max}$ 为 $A^T A$ 的最大特征值。
• 该算法在收敛速度上优于 Hogwild!，实现了线性收敛，而非后者的亚线性 $1/t$ 收敛率。
• 步长 $\gamma = 1/\psi$，其中 $\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$，确保了收敛性，并通过延迟影响的严密分析推导得出。
• 理论分析证实，即使在延迟和异步更新下，期望误差仍单调且指数级快速减少。