[論文レビュー] A Note on Preconditioning by Low-Stretch Spanning Trees

Daniel A. Spielman, Jaeoh Woo|ArXiv.org|Mar 16, 2009

Interconnection Networks and Systems参考文献 7被引用数 36

ひとこと要約

この論文は、低ストレッチスパニングツリーを活用することで、ラプラシアン線形系を解くためのプリコンディショニング付き共役勾配（PCG）法の収束解析を改善する。低ストレッチスパニングツリーをプリコンディショナーとして使用する場合、PCGは Õ(m⁴/³ log(1/ε)) 時間で収束することが証明され、従来の O(m³/²) の境界よりも顕著に向上している。これは、プリコンディショニングされた系の固有値分布を分析することで達成された。

ABSTRACT

Boman and Hendrickson observed that one can solve linear systems in Laplacian matrices in time $\bigO{m^{3/2 + o (1)} \ln (1/ε)}$ by preconditioning with the Laplacian of a low-stretch spanning tree. By examining the distribution of eigenvalues of the preconditioned linear system, we prove that the preconditioned conjugate gradient will actually solve the linear system in time $\softO{m^{4/3} \ln (1/ε)}$.

研究の動機と目的

• ラプラシアン行列の線形系を解くためのプリコンディショニング付き共役勾配（PCG）法の収束速度解析を改善すること。
• プリコンディショニングされた行列の固有値分布がPCG収束に与える影響を、特に低ストレッチスパニングツリーをプリコンディショナーとして用いる場合に分析すること。
• ラプラシアン系をε-精度で解くために必要なPCG反復回数のよりタイトな上界を確立すること。
• プリコンディショニングされた行列のトレースおよび固有値の境界を活用することで、理論的収束速度を顕著に改善できることを示すこと。

提案手法

• 論文は、元のグラフおよびスパニングツリーのラプラシアン行列をそれぞれ $ L_G $ および $ L_T $ とすると、行列積 $ L_G L_T^ atural $ のトレースを用いて、プリコンディショニングされた系における大きな固有値の数を上界で抑えている。
• Lemma 2.4 を適用し、二次形式 $ x^T L_T^ atural x $ がツリー内での一意的なパスに沿った逆重みの和に等しいことを示し、電気回路における有効抵抗と関連づけている。
• Theorem 2.1 は、$ \mathrm{Tr}(L_G L_T^ atural) = \mathrm{st}_T(G) $ を確立し、これはグラフのツリーに関する総ストレッチを表す。
• Corollary 2.2 はトレースの上界を用いて、$ L_G L_T^ atural $ の固有値のうち、閾値 $ t $ を超えるものの数が $ \mathrm{st}_T(G)/t $ 以下であることを示している。
• Theorem 2.3 は Axelsson と Lindskog (1986) の収束解析を適用し、大きな固有値の数とプリコンディショニングされた系の条件数を用いて、PCG反復回数の上界を導出している。
• 本手法は、スペクトル解析と低ストレッチスパニングツリーのグラフ理論的性質を組み合わせることで、よりタイトな反復回数の上界を導出している。

実験結果

リサーチクエスチョン

• RQ1 低ストレッチスパニングツリーをプリコンディショナーとして用いる場合、従来の O(m³/²) の境界を超えて、ラプラシアン系に対するPCGの収束速度を改善できるか？
• RQ2 プリコンディショニングされた行列 $ L_G L_T^ atural $ の固有値分布は、ε-精度を達成するためのPCG反復回数にどのように影響するか？
• RQ3 プリコンディショナーが低ストレッチスパニングツリーから導かれる場合、PCG反復回数の最もタイトな可能な上界は何か？
• RQ4 行列 $ L_G L_T^ atural $ のトレースを用いて、プリコンディショニングされた系における大きな固有値の数に対する意味のある上界を導出できるか？

主な発見

• 低ストレッチスパニングツリーをプリコンディショナーとして使用する場合、プリコンディショニング付き共役勾配法は $ \widetilde{\mathcal{O}}(m^{4/3} \ln(1/\epsilon)) $ 時間で収束する。
• $ L_G L_T^ atural $ の固有値のうち、$ t $ を超えるものの数は、$ \mathrm{st}_T(G)/t $ 以下である。これは、条件が悪い成分の数を上界で抑えている。
• グラフのツリーに関する総ストレッチ $ \mathrm{st}_T(G) $ は、$ L_G L_T^ atural $ のトレースに等しく、これが重要なスペクトル的関係を確立している。
• $ u = (\mathrm{st}_T(G))^{2/3} $ および $ l = 1 $ と設定することで、大きな固有値の数は $ (\mathrm{st}_T(G))^{1/3} $ 以下に抑えられ、反復回数が改善される。
• Boman と Hendrickson が示した従来の $ O(m^{3/2+o(1)} \ln(1/\epsilon)) $ の境界よりも、実際により良い実行時間を達成している。
• 解析により、収束速度はストレッチそのものではなく、総ストレッチの立方根に支配されていることが示され、これは、総ストレッチが小さいグラフではより速い収束を可能にする。