[論文レビュー] Smoothed Analysis of the Condition Numbers and Growth Factors of Matrices

Arvind Sankar, Daniel A. Spielman+1 more|ArXiv.org|Oct 12, 2003

Random Matrices and Applications参考文献 14被引用数 4

ひとこと要約

この論文は、任意の行列に対するランダムな摂動が、ピvotingなしのガウスの消去法において、大きな条件数や高い成長係数を示す可能性が極めて低いことを示す滑らかさ解析の枠組みを導入する。主な結果は、線形方程式系の正確な解法に通常は対数的精度——具体的には $O(b + \log n)$ ビット——しか必要としないことである。これは、理論的最悪ケースの制限にもかかわらず、ガウスの消去法が実用的に成功する理由を説明する。

ABSTRACT

Let $\orig{A}$ be any matrix and let $A$ be a slight random perturbation of $\orig{A}$. We prove that it is unlikely that $A$ has large condition number. Using this result, we prove it is unlikely that $A$ has large growth factor under Gaussian elimination without pivoting. By combining these results, we bound the smoothed precision needed by Gaussian elimination without pivoting. Our results improve the average-case analysis of Gaussian elimination without pivoting performed by Yeung and Chan (SIAM J. Matrix Anal. Appl., 1997).

研究の動機と目的

• ピvotingなしのガウスの消去法が、理論的最悪ケースの複雑さにかかわらず実用的に良好に動作する理由を説明すること。
• 小さなランダムな摂動の下で、行列の大きな条件数や成長係数が生じる確率を分析すること。
• 線形方程式系を解くための滑らかさ解析による精度要件が対数的であることを確立し、理論と実践のギャップを解消すること。
• ノイズを組み込むことで、従来の平均ケース解析を拡張し、現実世界の入力変動に対してより頑健な結果を得ること。
• 部分的または完全なピvotingを伴うガウスの消去法の滑らかさ解析の基盤を築くこと。

提案手法

• アルゴリズムのわずかな摂動された入力における期待性能を分析する、最悪ケースと平均ケースのハイブリッドである滑らかさ解析を用いる。
• 任意の行列 $\bar{\mathbf{A}}$ に対するガウスノイズ摂動下での条件数 $\kappa(\mathbf{A}) = \|\mathbf{A}\|_2 \|\mathbf{A}^{-1}\|_2$ を分析する。
• ガウスノイズの分散が $\sigma^2 \leq 1$ で $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ のとき、$\kappa(\mathbf{A}) \geq x$ である確率が $O(n / (x\sigma))$ で有界であることを証明する。
• 条件数の境界を、ピvotingなしのガウスの消去法における成長係数と結びつけ、摂動下で大きな成長係数が生じる可能性が低いことを示す。
• 中間の項が大きな値をとる可能性が低いことから、$\mathbf{A}\mathbf{x} = \mathbf{b}$ を $b$ ビットの精度で解くには $O(b + \log n)$ ビットの精度で十分であることを導出する。
• ゼロを保存する摂動と対称行列構造を検討し、特定の悪条件行列がこのような制約下でも問題のまま残ることを示す。

実験結果

リサーチクエスチョン

• RQ1 わずかに摂動された行列が大きな条件数を持つ確率はどの程度か？
• RQ2 ピvotingなしのガウスの消去法が摂動された行列に対して大きな成長係数を生じる確率はどの程度か？
• RQ3 滑らかさ解析は、理論的最悪ケースの複雑さにもかかわらず、ガウスの消去法の実用的頑健性を説明できるか？
• RQ4 ゼロを保存する摂動は、非対称行列や対称行列において、悪条件性や高い成長係数を維持するか？
• RQ5 部分的または完全なピvoting下での成長係数の滑らかさ境界は何か？ それらはピvotingなしの場合と比べてどう異なるか？

主な発見

• 任意の行列 $\bar{\mathbf{A}}$ に対するガウス摂動行列 $\mathbf{A}$ が条件数 $\kappa(\mathbf{A}) \geq x$ を持つ確率は、$\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ かつ $\sigma^2 \leq 1$ のとき $O(n / (x\sigma))$ で有界である。
• 行列のノルムが $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ のとき、滑らかさ条件数が $x$ を超える確率は $O(n \log n / (x\sigma))$ で抑えられる。
• ピvotingなしのガウスの消去法において、摂動された行列では大きな成長係数が生じる可能性が低く、中間の項が大きな値をとる可能性が低いことが理由である。
• ピvotingなしのガウスの消去法に必要な滑らかさ精度は $O(b + \log n)$ ビットであり、$b$ は入力精度を表す。これは実用的効率を説明する。
• 反例により、ゼロを保存する摂動が非対称行列における悪条件性や構造化された行列における大きな成長係数を維持することが示された。
• Wscheborの改良された境界により、同様の条件下で $\Pr[\kappa(\mathbf{A}) \geq x] \leq O(n \log n / (x\sigma))$ が得られ、$O(n / (x\sigma))$ がタイトであるという予想を支持する。