[論文レビュー] Nearly-Linear Time Algorithms for Preconditioning and Solving Symmetric, Diagonally Dominant Linear Systems

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|Jul 24, 2006

Matrix Theory and Algorithms参考文献 24被引用数 70

ひとこと要約

この論文は、再帰的サブグラフ条件付けを用いて、対称で対角優勢（SDD）線形方程式系をほぼ線形時間で解くアルゴリズムを提示する。グラフ論的技法を用いて超スパース化器を構築することで、SDD方程式系の解法に確率的に O(m log^c n log(1/ǫ)) の実行時間の期待値を達成し、Fiedler ベクトルの計算やスパース行列の条件付けに応用可能である。

ABSTRACT

We present a randomized algorithm that, on input a symmetric, weakly diagonally dominant n-by-n matrix A with m nonzero entries and an n-vector b, produces a y such that $ orm{y - \pinv{A} b}_{A} \leq ε orm{\pinv{A} b}_{A}$ in expected time $O (m \log^{c}n \log (1/ε)),$ for some constant c. By applying this algorithm inside the inverse power method, we compute approximate Fiedler vectors in a similar amount of time. The algorithm applies subgraph preconditioners in a recursive fashion. These preconditioners improve upon the subgraph preconditioners first introduced by Vaidya (1990). For any symmetric, weakly diagonally-dominant matrix A with non-positive off-diagonal entries and $k \geq 1$, we construct in time $O (m \log^{c} n)$ a preconditioner B of A with at most $2 (n - 1) + O ((m/k) \log^{39} n)$ nonzero off-diagonal entries such that the finite generalized condition number $κ_{f} (A,B)$ is at most k, for some other constant c. In the special case when the nonzero structure of the matrix is planar the corresponding linear system solver runs in expected time $ O (n \log^{2} n + n \log n \ \log \log n \ \log (1/ε))$. We hope that our introduction of algorithms of low asymptotic complexity will lead to the development of algorithms that are also fast in practice.

研究の動機と目的

• 対称的で弱対角優勢（SDD0）線形方程式系をほぼ線形時間で解くアルゴリズムを開発すること。
• 一般化条件数を低く保ちつつスパarsityを維持できる条件付けの構築手法を設計すること。
• ソルバーに逆べき乗法を適用することで、近似Fiedlerベクトルを効率的に計算可能にする。
• 平面的スパarsity構造にこのアルゴリズムを拡張し、O(n log²n + n log n log log n log(1/ǫ)) の改善された実行時間の達成。
• グラフ論的条件付けを通じて反復ソルバーの実用的高速化の理論的基盤を提供すること。

提案手法

• 関連する重み付きグラフのサブグラフ H を用いて、SDD0 行列 A の条件付け行列 B を構築する。ここで H はグラフ G の超スパース化器である。
• 超スパース化器から構築された条件付け行列を用いて、プリコンディショニング付き共役勾配法またはチェビシェフ法を再帰的に適用する。
• 部分的コレスキー分解を用いて、スパarsityを保ちつつ線形時間でシステムサイズを縮小し、再帰的解法を可能にする。
• スパースな部分グラフから条件付け行列を再帰的に構築するマルチレベルアルゴリズムを適用し、低ストレッチ生成木を活用する。
• 超スパース化器を制御されたエッジ数とスペクトル近似を満たすように構築するための TreeUltraSparsify および RootedUltraSparsify のサブルーチンを用いる。
• サポート理論とスペクトルグラフ理論を用いて、有限一般化条件数 κf(A, B) ≤ k を境界付け、反復ソルバーの高速収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 グラフに基づく条件付けを用いて、対称的で対角優勢線形方程式系をほぼ線形時間で解くことは可能か？
• RQ2 一般化条件数が有界であることを保証するために、条件付けに必要な非対角要素の最小数は何か？
• RQ3 エッジ数を削減しつつスペクトル近似を維持できるように、超スパース化器を効率的に構築する方法は何か？
• RQ4 行列構造が平面的である場合、SDD方程式系を解く際の漸近的計算量は何か？
• RQ5 得られたソルバーを用いて、逆べき乗法を適用することで近似Fiedlerベクトルを効率的に計算できるか？

主な発見

• アルゴリズムは、ある定数 c に対して、期待時間 O(m log^c n log(1/ǫ)) で対称的で弱対角優勢線形方程式系を解くことができる。
• 非正の非対角要素を有する任意の SDD0 行列 A と k ≥ 1 に対して、条件付け行列 B は O(m log^c n) 時間で構築され、非対角要素の非ゼロ数は 2(n−1) + O((m/k) log^39 n) 以下である。
• 有限一般化条件数は κf(A, B) ≤ k を満たし、反復ソルバーの高速収束を保証する。
• 平面的ケースでは、ソルバーの実行時間は期待時間 O(n log²n + n log n log log n log(1/ǫ)) である。
• 与えられた時間内に、高確率で ||˜x − A†b||_A ≤ ǫ||A†b||_A を満たす ˜x が得られる。
• 超スパース化器構築アルゴリズム UltraSparsify は、期待時間 O(m log^c n) で実行され、高確率で U ≼ E ≼ kU を満たすエッジ集合 U を返す。