[論文レビュー] How Accurate is inv(A)*b?

Alex Druinsky, Sivan Toledo|arXiv (Cornell University)|Jan 29, 2012

Matrix Theory and Algorithms参考文献 8被引用数 3

ひとこと要約

この論文は、逆行列が条件的に正確に計算される限り、$Ax = b$ を $x = \text{inv}(A) \cdot b$ で解くことが、LU や QR 分解のような後退安定ソルバーと同等に正確であることを示している。主な発見は、$b$ が $A$ の小さな特異値部分空間と一致しない場合、解は条件的に正確であり、しばしば後退安定的であるということであり、数値線形代数における長年の誤解を解消するものである。

ABSTRACT

Several widely-used textbooks lead the reader to believe that solving a linear system of equations Ax = b by multiplying the vector b by a computed inverse inv(A) is inaccurate. Virtually all other textbooks on numerical analysis and numerical linear algebra advise against using computed inverses without stating whether this is accurate or not. In fact, under reasonable assumptions on how the inverse is computed, x = inv(A)*b is as accurate as the solution computed by the best backward-stable solvers. This fact is not new, but obviously obscure. We review the literature on the accuracy of this computation and present a self-contained numerical analysis of it.

研究の動機と目的

• 計算 $x = \text{inv}(A) \cdot b$ が $A \backslash b$ よりも数値的に不正確であるという広く誤った誤解を是正すること。
• 標準的な逆行列計算手法を用いた場合に、$x = \text{inv}(A) \cdot b$ が条件的に正確な解をもたらすことを示す厳密な数値解析を提供すること。
• 解が正確であるだけでなく後退安定的である場合と、条件的に正確にとどまる場合を明確にすること。
• 数値実験を通じて、$\text{inv}(A) \cdot b$ の精度が LU や QR などの標準的ソルバーと同等であり、特に $b$ が小さな特異値部分空間と一致しない場合に顕著であることを示すこと。

提案手法

• $V \approx A^{-1}$ における $x_V = (V + \Delta)b$ の前向き誤差を分析し、$\|V - A^{-1}\|$ および $\|\Delta\|$ の上限を用いる。
• ウィルキンソンのよりきつい誤差上限を適用し、誤差が $O(\kappa(A)\epsilon_{\text{machine}})\|x\|$ であることを示し、後退安定ソルバーと一致することを示す。
• 条件的正確性と後退安定性の概念を導入し、$x_V$ が両方とも正確かつ後退安定的である場合を区別する。
• 特異値分解（SVD）を用いて、既知の条件数と特異値を持つ制御されたテスト行列を構築する。
• MATLAB のバックスラッシュと SVD を用いた正確な解を用いて、$\text{inv}(A) \cdot b$ と $A \backslash b$ を比較し、残差と誤差ノルムを測定する。
• $\Gamma = V - A^{-1}$ の構造を可視化し、その行が $A$ の大きな特異値に対応する左特異ベクトルとほぼ直交していることを示す。

実験結果

リサーチクエスチョン

• RQ1 $x = \text{inv}(A) \cdot b$ は、LU や QR 分解のような後退安定ソルバーと同等に正確か？
• RQ2 $x = \text{inv}(A) \cdot b$ が正確であるだけでなく後退安定的であるのはどのような条件下か？
• RQ3 なぜ多くの教科書が $\text{inv}(A) \cdot b$ が $A \backslash b$ よりも不正確であると誤って主張しているのか？
• RQ4 $b$ が $A$ の左特異部分空間と一致する程度が、$\text{inv}(A) \cdot b$ の精度と安定性に果たす役割は何か？
• RQ5 計算された逆行列が前向きに正確でない場合でも、条件的に正確な解が得られることがあるか？

主な発見

• $x = \text{inv}(A) \cdot b$ の前向き誤差は $O(\kappa^2(A)\epsilon_{\text{machine}})\|x\|$ で抑えられるが、これは緩い上限であり、実際の誤差は $O(\kappa(A)\epsilon_{\text{machine}})\|x\|$ に収束し、後退安定ソルバーと一致する。
• $b$ が $A$ の小さな特異値に対応する左特異部分空間と一致しない場合、$x = \text{inv}(A) \cdot b$ は条件的に正確かつ後退安定的である。
• 数値実験では、$\text{inv}(A) \cdot b$ の残差ノルムが $8.8 \times 10^{-16}$ に達し、MATLAB のバックスラッシュ演算子（相対誤差 $4.1 \times 10^{-9}$）と同等の精度を示した。
• $b$ が小さな特異値部分空間とほぼ直交する場合でも、相対誤差 $3.1 \times 10^{-9}$ で解は条件的に正確に保たれるが、後退誤差は $2.1 \times 10^{-10}$ にまで増加する。
• $V$ にランダムな誤差行列を加えると、相対誤差が $83.5\%$ にまで上昇する。これは、$\Gamma = V - A^{-1}$ の構造が正確性に不可欠であることを示している。
• この論文は、$\text{inv}(A) \cdot b$ が本質的に不正確ではないことを確認している。その正確性は、方法そのものではなく、逆行列誤差の構造に依存する。