[论文解读] Shifted CholeskyQR for computing the QR factorization of ill-conditioned matrices

Takeshi Fukaya, Ramaseshan Kannan+3 more|arXiv (Cornell University)|Sep 28, 2018

Matrix Theory and Algorithms参考文献 15被引用 5

一句话总结

该论文提出了一种名为 shiftedCholeskyQR3 的 QR 分解算法，用于处理条件数高达 𝒪(u⁻¹) 的病态矩阵，其中 u 为单位舍入误差。通过在 Cholesky 分解前向 Gram 矩阵 AᵀA 加入一个偏移 sI，该方法确保了数值稳定性，并可安全地应用 CholeskyQR2，通过三次 Cholesky QR 迭代实现 𝒪(u) 量级的正交性和残差误差。

ABSTRACT

The Cholesky QR algorithm is an efficient communication-minimizing algorithm for computing the QR factorization of a tall-skinny matrix. Unfortunately it has the inherent numerical instability and breakdown when the matrix is ill-conditioned. A recent work establishes that the instability can be cured by repeating the algorithm twice (called CholeskyQR2). However, the applicability of CholeskyQR2 is still limited by the requirement that the Cholesky factorization of the Gram matrix runs to completion, which means it does not always work for matrices $X$ with $κ_2(X)\gtrsim {\bf u}^{-\frac{1}{2}}$ where ${\bf u}$ is the unit roundoff. In this work we extend the applicability to $κ_2(X)=\mathcal{O}({\bf u}^{-1})$ by introducing a shift to the computed Gram matrix so as to guarantee the Cholesky factorization $R^TR= A^TA+sI$ succeeds numerically. We show that the computed $AR^{-1}$ has reduced condition number $\leq {\bf u}^{-\frac{1}{2}}$, for which CholeskyQR2 safely computes the QR factorization, yielding a computed $Q$ of orthogonality $\|Q^TQ-I\|_2$ and residual $\|A-QR\|_F/\|A\|_F$ both $\mathcal{O}({\bf u})$. Thus we obtain the required QR factorization by essentially running Cholesky QR thrice. We extensively analyze the resulting algorithm shiftedCholeskyQR to reveal its excellent numerical stability. shiftedCholeskyQR is also highly parallelizable, and applicable and effective also when working in an oblique inner product space. We illustrate our findings through experiments, in which we achieve significant (up to x40) speedup over alternative methods.

研究动机与目标

• 解决当条件数超过 𝒪(u⁻¹/²) 时 Cholesky QR 在病态矩阵中出现的数值不稳定性问题。
• 扩展基于 Cholesky QR 的算法适用范围，突破 CholeskyQR2 在 Gram 矩阵 Cholesky 分解失败时的局限性。
• 开发一种通信量最小化、后向稳定的 QR 算法，即使在高条件数矩阵下仍保持有效性。
• 提供一种实用且可并行化的算法，实现高性能与数值稳定性，且不依赖 Householder 类方法。

提出的方法

• 在 Gram 矩阵 AᵀA 上加入偏移 sI，形成 AᵀA + sI，以确保 Cholesky 分解 RᵀR = AᵀA + sI 的数值稳定性。
• 计算 R = chol(AᵀA + sI)，然后构造 Q₁ = XR⁻¹，其条件数被降低至 ≤ 𝒪(u⁻¹/²)。
• 对 Q₁ 应用 CholeskyQR2 以计算稳定 QR 分解，得到 Q 和 R₁，其正交性和残差误差均为 𝒪(u)。
• 将结果合并，得到最终的 QR 分解 A = Q(R₁R⁻¹)，实质上执行了三次 Cholesky QR 迭代。
• 选择适当的偏移 s，使得 AR⁻¹ 的条件数被限制在 𝒪(u⁻¹/²) 以内，从而确保 CholeskyQR2 的安全使用。
• 提供严格的后向误差分析，证明计算所得 Q 的残差和正交性误差均为 𝒪(u)。

实验结果

研究问题

• RQ1 Cholesky QR 是否可被改进以适用于条件数高达 𝒪(u⁻¹) 的矩阵，从而突破 CholeskyQR2 的 𝒪(u⁻¹/²) 限制？
• RQ2 何种偏移策略可确保 AᵀA + sI 的 Cholesky 分解保持数值稳定，同时改善 AR⁻¹ 的条件数？
• RQ3 三步流程（带偏移的 Cholesky QR + CholeskyQR2）是否能产生后向稳定的 QR 分解，且误差在 𝒪(u) 量级？
• RQ4 与现有通信避免型及 Householder 型 QR 算法相比，该方法在稳定性和性能方面表现如何？
• RQ5 该方法能否扩展至非正交内积空间，同时保持稳定性和可并行性？

主要发现

• shiftedCholeskyQR3 算法对条件数高达 𝒪(u⁻¹) 的矩阵实现了后向稳定性，显著扩展了基于 Cholesky QR 方法的适用范围。
• 计算所得 Q 满足 ‖QᵀQ − I‖₂ = 𝒪(u)，且残差满足 ‖A − QR‖F / ‖A‖F = 𝒪(u)，证实了后向稳定性。
• 该算法在实际中执行了三次 Cholesky QR 迭代，其中偏移确保了第二次 Cholesky QR 步骤（即 CholeskyQR2）在数值上安全。
• 残差界被改进为 5n²u‖X‖₂，相比先前的 5n²√n u‖X‖₂，紧致程度提高了 √n 倍。
• 该方法高度可并行化，在实验中相比其他方法实现了高达 40 倍的加速。
• 该方法在非正交内积空间中依然有效，显著拓宽了其在标准欧几里得空间之外的应用范围。