[论文解读] Highly Efficient Computation of Generalized Inverse of a Matrix

Victor Y. Pan, Fazlollah Soleymani+1 more|arXiv (Cornell University)|Apr 27, 2016

Matrix Theory and Algorithms参考文献 31被引用 5

一句话总结

该论文提出了一种新颖的超幂迭代方法，通过每次迭代仅使用七次矩阵乘法，实现了18阶收敛，计算效率指数达到目前已知的最高水平。该方法具备自校正特性，通过增加一次额外的矩阵乘法可实现稳定化，显著优于现有稳定迭代方法在稠密矩阵和稀疏矩阵上的速度与精度。

ABSTRACT

We propose a hyperpower iteration for numerical computation of the outer generalized inverse of a matrix which achieves the 18th order of convergence by using only seven matrix multiplication per iteration loop. This is the record high efficiency for that computational task. The algorithm has a relatively mild numerical instability, and we stabilize it at the price of adding one extra matrix multiplication per iteration loop. This imlplies an efficiency index that significantly exceeds the known record for numerically stable iterations for this task. Our numerical tests cover a variety of examples such as Drazin case, rectangular case, and preconditioning of linear systems. The test results are in good accordance with our formal study and indicate that our algorithms can be of interest for the user.

研究动机与目标

• 开发一种高效迭代算法，用于计算矩阵的外广义逆，尤其适用于矩形矩阵或秩亏矩阵的情况。
• 在每次迭代的计算成本（以效率指数衡量）尽可能低的前提下，实现尽可能高的收敛阶次。
• 确保在实际计算中的数值稳定性，特别是针对病态或大规模矩阵。
• 在多种应用场景中评估该方法的性能，包括线性系统的预条件处理和回归分析。
• 超越目前已知的数值稳定迭代方法在广义逆计算中的效率记录。

提出的方法

• 该算法采用超幂迭代框架，通过涉及矩阵乘积的递推关系实现18阶收敛，且每次迭代仅需七次矩阵乘法。
• 核心迭代公式为 $ X_{k+1} = X_k (I + \upsilon_k \zeta_k) $，其中 $ \psi_k = I - A X_k $，$ \zeta_k = I + \psi_k + \psi_k^2 $，且 $ \upsilon_k = \psi_k + \psi_k^4 $。
• 该方法对非奇异矩阵具有自校正特性，但对广义逆计算表现出轻微的数值不稳定性，通过在每次迭代中增加一次额外的矩阵乘法可有效缓解。
• 初始矩阵 $ X_0 $ 选择为 $ A $ 的对角逆矩阵，即 $ X_0 = \text{diag}(1/a_{11}, \dots, 1/a_{nn}) $，以确保快速收敛。
• 该算法被应用于计算稀疏线性系统的预条件子，通过阈值化（如 `Chop[X, 1e-5]`）保持稀疏性。
• 该方法在多种情形下进行了测试：Drazin逆、矩形矩阵，以及使用GMRES求解大规模稀疏系统的预条件处理。

实验结果

研究问题

• RQ1 能否设计一种迭代方法，使外广义逆计算在每次迭代仅使用七次矩阵乘法的前提下实现18阶收敛？
• RQ2 在高阶广义逆迭代方法中，收敛速度与数值稳定性之间的权衡关系如何？
• RQ3 与现有的牛顿-舒尔茨、切比雪夫-森-普拉布方法及FM方法相比，该方法在计算时间和精度方面表现如何？
• RQ4 该方法能否在Krylov子空间求解器（如GMRES）中有效用作大规模稀疏线性系统的预条件子？
• RQ5 该方法的效率指数是否显著高于目前已知的稳定迭代方法在广义逆计算中的表现？

主要发现

• 所提方法在每次迭代仅使用七次矩阵乘法的前提下实现了18阶收敛，效率指数约为1.51121，为该类问题迄今记录的最高值。
• 数值测试表明，所有测试案例（包括Drazin逆、矩形矩阵及大规模稀疏系统的预条件处理）均表现出一致的收敛性。
• 在稀疏线性系统的预条件处理中，该方法在计算时间上显著优于标准的ILU预条件方法，尤其在严格容差条件下，单次循环迭代通常已足够。
• 通过增加一次额外矩阵乘法实现稳定化的版本，保持了18阶收敛，同时显著提升了数值稳定性。
• 在时间对比测试中，该方法始终快于已知方法（如SM、CM和FM），在从100×90到1000×990的各类矩阵尺寸下均观察到显著加速。
• 该方法在多种精度级别下表现稳健，尤其在用作预条件子时，显著减少了GMRES的迭代次数。