[论文解读] A Note on Preconditioning by Low-Stretch Spanning Trees

Daniel A. Spielman, Jaeoh Woo|ArXiv.org|Mar 16, 2009

Interconnection Networks and Systems参考文献 7被引用 36

一句话总结

该论文通过利用低拉伸生成树，改进了预处理共轭梯度（PCG）方法在求解拉普拉斯线性系统时的收敛性分析。当使用低拉伸生成树作为预条件器时，证明了PCG可在Õ(m⁴/³ log(1/ε))时间内收敛，显著优于先前通过分析预条件系统特征值分布所得到的O(m³/²)上界。

ABSTRACT

Boman and Hendrickson observed that one can solve linear systems in Laplacian matrices in time $\bigO{m^{3/2 + o (1)} \ln (1/ε)}$ by preconditioning with the Laplacian of a low-stretch spanning tree. By examining the distribution of eigenvalues of the preconditioned linear system, we prove that the preconditioned conjugate gradient will actually solve the linear system in time $\softO{m^{4/3} \ln (1/ε)}$.

研究动机与目标

• 改进求解拉普拉斯矩阵线性系统的预处理共轭梯度（PCG）方法的收敛速率分析。
• 分析预条件矩阵的特征值分布如何影响PCG的收敛性，特别是当使用低拉伸生成树作为预条件器时。
• 为求解拉普拉斯系统达到ε-精度所需PCG迭代次数建立更紧的上界。
• 证明通过利用预条件矩阵的迹和特征值界，理论收敛速率可得到显著提升。

提出的方法

• 论文使用矩阵乘积 $ L_G L_T^ atural $ 的迹来界定预条件系统中大特征值的数量，其中 $ L_G $ 和 $ L_T $ 分别为原图和生成树的拉普拉斯矩阵。
• 应用引理2.4，将二次型 $ x^T L_T^ atural x $ 与树中唯一路径上的逆权之和关联起来，从而与电路网络中的等效电阻建立联系。
• 定理2.1表明 $ \mathrm{Tr}(L_G L_T^ atural) = \mathrm{st}_T(G) $，即图相对于该生成树的总拉伸。
• 推论2.2利用迹界证明：$ L_G L_T^ atural $ 中大于阈值 $ t $ 的特征值数量至多为 $ \mathrm{st}_T(G)/t $。
• 定理2.3应用Axelsson和Lindskog（1986）的收敛性分析，通过大特征值数量和预条件系统的条件数来界定PCG迭代次数。
• 该方法结合谱分析与低拉伸生成树的图论性质，推导出更紧的迭代计数。

实验结果

研究问题

• RQ1 当使用低拉伸生成树作为预条件器时，能否将拉普拉斯系统PCG方法的收敛速率提升至超越先前已知的O(m³/²)上界？
• RQ2 预条件矩阵 $ L_G L_T^ atural $ 中的特征值分布如何影响达到ε-精度所需的PCG迭代次数？
• RQ3 当预条件器由低拉伸生成树导出时，PCG迭代次数的最紧可能上界是什么？
• RQ4 能否利用 $ L_G L_T^ atural $ 的迹来推导出预条件系统中大特征值数量的有意义界？

主要发现

• 当使用低拉伸生成树作为预条件器时，预条件共轭梯度方法的收敛时间为 $ \widetilde{\mathcal{O}}(m^{4/3} \ln(1/\epsilon)) $。
• $ L_G L_T^ atural $ 中大于 $ t $ 的特征值数量至多为 $ \mathrm{st}_T(G)/t $，该界控制了条件性差的分量数量。
• 图相对于生成树的总拉伸 $ \mathrm{st}_T(G) $ 等于 $ L_G L_T^ atural $ 的迹，建立了关键的谱联系。
• 通过设定 $ u = (\mathrm{st}_T(G))^{2/3} $ 和 $ l = 1 $，大特征值数量被限制在 $ (\mathrm{st}_T(G))^{1/3} $ 以内，从而实现更优的迭代计数。
• 该方法实现了比Boman和Hendrickson先前的 $ O(m^{3/2+o(1)} \ln(1/\epsilon)) $ 上界更优的可证明运行时间。
• 分析表明，收敛速率由总拉伸的立方根主导，而非拉伸本身，这使得总拉伸较低的图能够实现更快收敛。