[论文解读] Distributed SDDM Solvers: Theory & Applications

Rasul Tutunov, Haitham Bou-Ammar+1 more|arXiv (Cornell University)|Aug 17, 2015

Sparse and Compressive Sensing Techniques参考文献 49被引用 3

一句话总结

该论文提出两种用于对称对角占优M-矩阵（SDDM）的分布式求解器，采用去中心化的稀疏近似逆链，实现网络流优化中高效且可扩展的求解，具有超线性收敛速度。该方法在收敛速度上相比最先进技术最高提升两个数量级，同时通过分布式牛顿法实现任意精度 ϵ > 0 的牛顿方向逼近，保持高精度。

ABSTRACT

In this paper, we propose distributed solvers for systems of linear equations given by symmetric diagonally dominant M-matrices based on the parallel solver of Spielman and Peng. We propose two versions of the solvers, where in the first, full communication in the network is required, while in the second communication is restricted to the R-Hop neighborhood between nodes for some $R \geq 1$. We rigorously analyze the convergence and convergence rates of our solvers, showing that our methods are capable of outperforming state-of-the-art techniques. Having developed such solvers, we then contribute by proposing an accurate distributed Newton method for network flow optimization. Exploiting the sparsity pattern of the dual Hessian, we propose a Newton method for network flow optimization that is both faster and more accurate than state-of-the-art techniques. Our method utilizes the distributed SDDM solvers for determining the Newton direction up to any arbitrary precision $\epsilon >0$. We analyze the properties of our algorithm and show superlinear convergence within a neighborhood of the optimal. Finally, in a set of experiments conducted on randomly generated and barbell networks, we demonstrate that our approach is capable of significantly outperforming state-of-the-art techniques.

研究动机与目标

• 开发适用于大规模网络中通信受限场景的快速、分布式对称对角占优M-矩阵（SDDM）求解器。
• 通过实现去中心化计算，克服集中式预条件器和稀疏逆链在分布式环境下的局限性。
• 设计一种用于网络流优化的分布式牛顿法，利用SDDM求解器实现高精度与快速收敛。
• 在多种网络拓扑结构上，通过收敛速度和消息复杂度指标，证明所提方法优于现有方法。
• 分析所提分布式求解器与牛顿法的收敛特性及消息复杂度。

提出的方法

• 提出一种分布式稀疏近似逆链，替代Peng和Spielman（2014）集中式求解器中的全局计算，实现SDDM系统的去中心化求解。
• 提出两种求解器变体：一种需要全网通信，另一种限制在R跳邻域内，降低通信开销。
• 采用两阶段方法：首先计算一个“粗略”解，然后通过分布式R跳预条件器进行精化，以达到ϵ-精度。
• 利用网络流问题中对偶Hessian的稀疏结构，设计一种二阶方法，利用SDDM求解器高效计算牛顿方向。
• 使用特征值小于1的矩阵幂来缩短逆链长度，相比先前工作降低计算复杂度。
• 分析收敛速率并表明在最优解邻域内实现超线性收敛，与精确牛顿方法表现一致。

实验结果

研究问题

• RQ1 能否设计一种分布式SDDM求解器，在去中心化通信约束下保持集中式求解器的收敛速度与精度？
• RQ2 将通信限制在R跳邻域内，对分布式SDDM求解器的收敛速率与计算复杂度有何影响？
• RQ3 能否开发一种用于网络流优化的分布式牛顿法，实现超线性收敛并达到与精确集中式牛顿方法相当的性能？
• RQ4 与现有方法相比，所提分布式SDDM求解器在消息复杂度与收敛速度之间存在何种权衡？
• RQ5 在复杂网络拓扑（如哑铃图和随机网络）上，所提方法的可扩展性如何？

主要发现

• 所提分布式SDDM求解器在随机网络与哑铃网络上，收敛速度相比最先进方法（包括ADD与次梯度方法）最高提升100倍。
• 在60个节点的哑铃图上，SDDM-牛顿方法在100次迭代内完成收敛，优于第二好的方法（ADD），后者几乎需要3,000次迭代。
• 该方法在最优解邻域内表现出超线性收敛，其性能与精确集中式牛顿方法高度一致。
• 消息复杂度被限制在O(κ(LG)dmax)以内，其中κ(LG)为图拉普拉斯矩阵的条件数，相比其他方法仅略有增加。
• 在120个节点的哑铃网络中，SDDM-牛顿方法在目标值与可行性方面均保持卓越性能，验证了其可扩展性与鲁棒性。
• 与先前工作相比，该算法在复杂度上提升了log n倍，在图度数方面相比[34]提升了相应倍数，尤其在分量级解精度方面表现更优。