[論文レビュー] Solving Sparse, Symmetric, Diagonally-Dominant Linear Systems in Time $O (m^{1.31})$

Daniel A. Spielman, Shang‐Hua Teng|ArXiv.org|Oct 17, 2003

Matrix Theory and Algorithms参考文献 14被引用数 23

ひとこと要約

本稿では、非ゼロ要素数を $m$、対数的条件数を $\tilde{\kappa}$ とするスパースで対称的かつ対角優勢な線形方程式系を、時間 $O(m^{1.31} \mathrm{polylog}(n\tilde{\kappa}/\epsilon))$ で解く新しいアルゴリズムを提示する。この手法は、Vaidyaの組合せ的条件数付け法を改善し、条件数の境界を精緻化し、平均次数に基づく新しい条件数付け構成を再帰的に適用することで、低 genus または除外マイナーを持つグラフにおいてより速い収束を達成する。

ABSTRACT

We present a linear-system solver that, given an $n$-by-$n$ symmetric positive semi-definite, diagonally dominant matrix $A$ with $m$ non-zero entries and an $n$-vector $\bb $, produces a vector $\xxt$ within relative distance $ε$ of the solution to $A \xx = \bb$ in time $O (m^{1.31} \log (n κ_{f} (A)/ε)^{O (1)})$, where $κ_{f} (A)$ is the log of the ratio of the largest to smallest non-zero eigenvalue of $A$. In particular, $\log (κ_{f} (A)) = O (b \log n)$, where $b$ is the logarithm of the ratio of the largest to smallest non-zero entry of $A$. If the graph of $A$ has genus $m^{2θ}$ or does not have a $K_{m^θ} $ minor, then the exponent of $m$ can be improved to the minimum of $1 + 5 θ$ and $(9/8) (1+θ)$. The key contribution of our work is an extension of Vaidya's techniques for constructing and analyzing combinatorial preconditioners.

研究の動機と目的

• 科学計算や最適化で一般的なスパースで対称的かつ対角優勢な線形方程式系をより速く解くアルゴリズムを開発すること。
• Vaidyaの組合せ的条件数付けフレームワークを改善し、条件数付けされたシステムの条件数 $\kappa_f(A,B)$ の境界を精緻化すること。
• 最大次数ではなく平均次数に依存する再帰的条件数付け構成を導入することで、時間計算量を $O(m^{1.5})$ 未満に抑えること。
• 低 genus または除外マイナーを持つグラフに対して、再帰と条件数付け設計を適応させることで、指数を改善すること。
• 再帰的ソルバの厳密な解析を行い、条件数と精度パラメータに明示的な依存関係を持つ、全体の実行時間のタイトな境界を確立すること。

提案手法

• アルゴリズムは、行列 $A_i$ のグラフ表現からの部分グラフに基づいて、条件数付け $B_i$ の列を再帰的に構築する。
• 中間行列 $C_i$ を計算するために部分的 $LDL^T$ 分解を適用し、条件数付けされたシステムの条件数を制限する。
• 条件数付け構成には、条件数の増大と再帰深さのトレードオフを最適化するパrameter $\gamma = (3 - \sqrt{5})/2 \approx 0.38$ を使用する。
• グラフ埋め込みの拡張率と混雑度を分析することで、条件数 $\kappa_f(A,B)$ を境界づける。これは、Boman と Hendrickson のサポートに基づく境界を拡張したものである。
• 再帰的に $A_i$ のシステムを増大する精度で解き、全体の精度 $\epsilon$ を保証するための誤差許容値 $\epsilon_i$ を選ぶ。
• グラフの genus が $m^{2\theta}$ 以下または $K_{m^\theta}$ マイナーを除外する場合、$\gamma$ を調整することで指数を $\min(1+5\theta, (9/8)(1+\theta))$ に達成する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的条件数付けを用いて、スパースで対称的かつ対角優勢な線形方程式系の時間計算量を $O(m^{1.5})$ 未満に改善できるか。
• RQ2 グラフ理論的および代数的技術を用いて、条件数付けされたシステムの条件数をよりタイトに境界づける方法は何か。
• RQ3 全体の実行時間を最小化する最適な再帰深さと条件数付け構成戦略は何か。
• RQ4 複雑度の境界において最大次数の代わりに平均次数を用いることで、スパースグラフにおける性能向上が達成できるか。
• RQ5 低 genus や除外マイナーといったトポロジカル制約は、時間計算量の実現可能な指数にどのように影響するか。

主な発見

• アルゴリズムは、相対誤差 $\epsilon$ で $A\mathbf{x} = \mathbf{b}$ を $O(m^{1.31} \log(n\kappa_f(A)/\epsilon)^{O(1)})$ 時間で解くことができ、以前の $O(m^{1.5})$ の境界を改善する。
• グラフの genus が $m^{2\theta}$ 以下または $K_{m^\theta}$ マイナーを除外する場合、時間計算量は $O(m^{\min(1+5\theta, (9/8)(1+\theta))})$ に改善される。
• 条件数 $\kappa_f(A,B)$ は、グラフ埋め込みの混雑度と拡張率の精緻な分析により境界づけられ、Boman と Hendrickson のサポートに基づく境界を拡張したものである。
• 再帰的ソルバは深さ $r$ の再帰を用い、指数 $\beta_r$ は $\beta_\infty = (3 + \sqrt{5})/4 \approx 1.309$ に上昇しながら近づき、$O(m^{1.31})$ の境界を達成する。
• この結果は、$\gamma = (3 - \sqrt{5})/2$ と設定することで達成され、条件数の増大と再帰レベル間の部分問題のサイズのバランスが取れている。
• 解析により、時間計算量は再帰的反復に支配され、線形時間の部分的因数分解により前処理コストは無視できるほど小さいことが示された。