[论文解读] How Accurate is inv(A)*b?

Alex Druinsky, Sivan Toledo|arXiv (Cornell University)|Jan 29, 2012

Matrix Theory and Algorithms参考文献 8被引用 3

一句话总结

本文表明，只要逆矩阵以条件准确的方式计算，通过 $x = \text{inv}(A) \cdot b$ 求解 $Ax = b$ 的精度与使用 LU 或 QR 分解等后向稳定求解器相当。关键发现是：当 $b$ 不与 $A$ 的小奇异子空间对齐时，解既具有条件准确性，通常也具有后向稳定性，从而澄清了数值线性代数中长期存在的误解。

ABSTRACT

Several widely-used textbooks lead the reader to believe that solving a linear system of equations Ax = b by multiplying the vector b by a computed inverse inv(A) is inaccurate. Virtually all other textbooks on numerical analysis and numerical linear algebra advise against using computed inverses without stating whether this is accurate or not. In fact, under reasonable assumptions on how the inverse is computed, x = inv(A)*b is as accurate as the solution computed by the best backward-stable solvers. This fact is not new, but obviously obscure. We review the literature on the accuracy of this computation and present a self-contained numerical analysis of it.

研究动机与目标

• 纠正广泛存在的误解，即计算 $x = \text{inv}(A) \cdot b$ 的数值精度低于 $A \backslash b$。
• 通过严格的数值分析，证明在标准逆矩阵计算方法下，$x = \text{inv}(A) \cdot b$ 可获得条件准确的解。
• 阐明解不仅准确而且后向稳定的情况，以及仅具有条件准确性的场景。
• 通过数值实验表明，$\text{inv}(A) \cdot b$ 的精度与 LU 或 QR 等标准求解器相当，尤其当 $b$ 不与 $A$ 的小奇异子空间对齐时。

提出的方法

• 分析 $x_V = (V + \Delta)b$ 的前向误差，其中 $V \approx A^{-1}$，使用 $\|V - A^{-1}\|$ 和 $\|\Delta\|$ 的界。
• 应用威利金森的更紧致误差界，表明误差为 $O(\kappa(A)\epsilon_{\text{machine}})\|x\|$，与后向稳定求解器一致。
• 引入条件准确性与后向稳定性的概念，区分 $x_V$ 同时具备准确性和后向稳定性的场景。
• 利用 SVD 方法构造 $A$ 和 $A^{-1}$，生成具有已知条件数和奇异值的受控测试矩阵。
• 使用 MATLAB 的 backslash 运算符和基于 SVD 的精确解，比较 $\text{inv}(A) \cdot b$ 与 $A \backslash b$，测量残差和误差范数。
• 可视化 $\Gamma = V - A^{-1}$ 的结构，表明其行与 $A$ 的大奇异值对应的左奇异向量几乎正交。

实验结果

研究问题

• RQ1 是否 $x = \text{inv}(A) \cdot b$ 的精度与 LU 或 QR 分解等后向稳定求解器相当？
• RQ2 在何种条件下 $x = \text{inv}(A) \cdot b$ 不仅准确，而且后向稳定？
• RQ3 为何许多教科书错误地声称 $\text{inv}(A) \cdot b$ 的精度低于 $A \backslash b$？
• RQ4 $b$ 与 $A$ 的左奇异子空间的对齐程度在 $\text{inv}(A) \cdot b$ 的精度和稳定性中起什么作用？
• RQ5 即使逆矩阵的计算不具前向准确性，其计算结果是否仍可能产生条件准确的解？

主要发现

• 解 $x = \text{inv}(A) \cdot b$ 的前向误差界为 $O(\kappa^2(A)\epsilon_{\text{machine}})\|x\|$，但该界过松；实际误差为 $O(\kappa(A)\epsilon_{\text{machine}})\|x\|$，与后向稳定求解器一致。
• 当 $b$ 不与对应于小奇异值的左奇异子空间对齐时，$x = \text{inv}(A) \cdot b$ 既具有条件准确性，也具有后向稳定性。
• 数值实验表明，$\text{inv}(A) \cdot b$ 的残差范数达到 $8.8 \times 10^{-16}$，与 MATLAB 的 backslash 运算符（相对误差 $4.1 \times 10^{-9}$）相当。
• 即使 $b$ 几乎与小奇异子空间正交，解仍保持条件准确性，相对误差为 $3.1 \times 10^{-9}$，但后向误差上升至 $2.1 \times 10^{-10}$。
• 向 $V$ 添加随机误差矩阵后，解的相对误差达 $83.5\%$，表明 $\Gamma = V - A^{-1}$ 的结构对精度至关重要。
• 本文证实 $\text{inv}(A) \cdot b$ 本身并非固有不准确——其精度取决于逆矩阵误差的结构，而非方法本身。