[论文解读] A nearly-mlogn time solver for SDD linear systems

Ioannis Koutis, Gary L. Miller+1 more|arXiv (Cornell University)|Feb 23, 2011

Complexity and Algorithms in Graphs参考文献 25被引用 93

一句话总结

该论文通过引入一种新颖的预条件链构造方法，实现了对对称对角占优（SDD）线性系统的近乎 m log n 时间求解，该方法利用了图稀疏化和收缩过程中总拉伸不变的特性。关键贡献在于通过在整个链中复用单个低拉伸生成树，将运行时间从 Õ(m log²n) 加快至 Õ(m log n)，从而实现了对平均拉伸为 O(1/log n) 的脊柱密集图的线性时间求解。

ABSTRACT

We present an improved algorithm for solving symmetrically diagonally dominant linear systems. On input of an $n imes n$ symmetric diagonally dominant matrix $A$ with $m$ non-zero entries and a vector $b$ such that $A\bar{x} = b$ for some (unknown) vector $\bar{x}$, our algorithm computes a vector $x$ such that $||{x}-\bar{x}||_A < ε||\bar{x}||_A $ {$||\cdot||_A$ denotes the A-norm} in time $${ ilde O}(m\log n \log (1/ε)).$$ The solver utilizes in a standard way a `preconditioning' chain of progressively sparser graphs. To claim the faster running time we make a two-fold improvement in the algorithm for constructing the chain. The new chain exploits previously unknown properties of the graph sparsification algorithm given in [Koutis,Miller,Peng, FOCS 2010], allowing for stronger preconditioning properties. We also present an algorithm of independent interest that constructs nearly-tight low-stretch spanning trees in time $ ilde{O}(m\log{n})$, a factor of $O(\log{n})$ faster than the algorithm in [Abraham,Bartal,Neiman, FOCS 2008]. This speedup directly reflects on the construction time of the preconditioning chain.

研究动机与目标

• 开发一种更快的对称对角占优（SDD）线性系统求解器，此类系统在图算法、数值PDE和机器学习中具有基础性作用。
• 通过减少对数因子的依赖，突破 SDD 求解器先前 Õ(m log²n) 的运行时间瓶颈。
• 通过利用图稀疏化和收缩过程中的不变性，实现近乎最优的 Õ(m log n) 运行时间。
• 通过在所有层级上复用单个低拉伸生成树，构建具有更强谱保证的预条件链。
• 提供一种在 Õ(m log n) 时间内构造近似紧致低拉伸生成树的更快算法，优于先前的 O(m log²n) 方法。

提出的方法

• 通过谱稀疏化和对度数为1和度数为2的节点进行贪心消除，构建一系列逐步稀疏化的图的预条件链。
• 对 [KMP10a] 中的增量稀疏化算法进行更深入分析，证明了非树边的总拉伸在稀疏化和收缩下保持不变。
• 在整个链的所有层级上复用单个低拉伸生成树，消除了在每个阶段重新计算的需要。
• 使用一种改进的稀疏化例程，保持与条件数 κ 的谱相似性，从而实现更快的链构建。
• 对边权进行四舍五入，将不同边长的数量限制在 O(log n) 以内，从而通过 HierarchicalStarPartition 实现高效的递归划分。
• 在四舍五入后的图上使用 StarPartition 算法结合 ImpConeDecomp，在 Õ(m log n) 时间内构建低拉伸生成树，且拉伸保持在常数因子内。

实验结果

研究问题

• RQ1 能否通过改进预条件链构造，将 SDD 求解器的运行时间从 Õ(m log²n) 降低至 Õ(m log n)？
• RQ2 在图稀疏化和收缩下，非树边的总拉伸是否保持不变，从而支持在整个链中复用单个生成树？
• RQ3 能否在 Õ(m log n) 时间内构造近似紧致的低拉伸生成树，从而优于先前工作的 O(m log²n) 上限？
• RQ4 边权四舍五入对分层划分中拉伸保持和算法效率有何影响？
• RQ5 在平均拉伸为 O(1/log n) 的脊柱密集图上，能否使用所提框架实现线性时间求解？

主要发现

• 所提出的 SDD 求解器运行时间为 Õ(m log n log(1/ε))，相比先前的 Õ(m log²n) 求解器实现了 log n 的加速。
• 非树边的总拉伸在稀疏化和图收缩下保持不变，从而支持在整个预条件链中复用单个低拉伸生成树。
• 提出的新算法在 Õ(m log n) 时间内构造近似紧致的低拉伸生成树，相比先前的 O(m log²n) 方法有 O(log n) 的改进。
• 利用新框架，可对平均拉伸为 O(1/log n) 的脊柱密集图实现线性时间求解。
• 边权四舍五入确保了 O(log n) 种不同的边长，使得 HierarchicalStarPartition 算法在 Õ(m log n) 时间内运行，且拉伸保持在 2 倍因子内。
• 从脊柱密集图出发，通过统一采样逐步生成的平滑图序列，实现了稀疏化与消除的清晰分离，简化了预条件器链的构建。