[論文レビュー] Shifted CholeskyQR for computing the QR factorization of ill-conditioned matrices

Takeshi Fukaya, Ramaseshan Kannan+3 more|arXiv (Cornell University)|Sep 28, 2018

Matrix Theory and Algorithms参考文献 15被引用数 5

ひとこと要約

本稿では、条件数が 𝒪(u⁻¹) に達するまで不適応な行列に対し後退安定な QR 分解を実現する、shiftedCholeskyQR3 を提案する。ここで u は単位丸め誤差である。グラム行列 AᵀA に事前にシフト sI を加えることで、コレスキー分解の数値的安定性を保証し、CholeskyQR2 の安全な適用を可能にし、3 回のコレスキー QR を通じて、Orthogonality と残差誤差を 𝒪(u) に抑える。

ABSTRACT

The Cholesky QR algorithm is an efficient communication-minimizing algorithm for computing the QR factorization of a tall-skinny matrix. Unfortunately it has the inherent numerical instability and breakdown when the matrix is ill-conditioned. A recent work establishes that the instability can be cured by repeating the algorithm twice (called CholeskyQR2). However, the applicability of CholeskyQR2 is still limited by the requirement that the Cholesky factorization of the Gram matrix runs to completion, which means it does not always work for matrices $X$ with $κ_2(X)\gtrsim {\bf u}^{-\frac{1}{2}}$ where ${\bf u}$ is the unit roundoff. In this work we extend the applicability to $κ_2(X)=\mathcal{O}({\bf u}^{-1})$ by introducing a shift to the computed Gram matrix so as to guarantee the Cholesky factorization $R^TR= A^TA+sI$ succeeds numerically. We show that the computed $AR^{-1}$ has reduced condition number $\leq {\bf u}^{-\frac{1}{2}}$, for which CholeskyQR2 safely computes the QR factorization, yielding a computed $Q$ of orthogonality $\|Q^TQ-I\|_2$ and residual $\|A-QR\|_F/\|A\|_F$ both $\mathcal{O}({\bf u})$. Thus we obtain the required QR factorization by essentially running Cholesky QR thrice. We extensively analyze the resulting algorithm shiftedCholeskyQR to reveal its excellent numerical stability. shiftedCholeskyQR is also highly parallelizable, and applicable and effective also when working in an oblique inner product space. We illustrate our findings through experiments, in which we achieve significant (up to x40) speedup over alternative methods.

研究の動機と目的

• 条件数が 𝒪(u⁻¹/²) を超える不適応な行列において、コレスキー QR が示す数値的不安定性を解消すること。
• コレスキー分解が失敗するため、CholeskyQR2 の適用が不可能となる限界を超えて、コレスキー QR に基づくアルゴリズムの適用範囲を拡張すること。
• 通信を最小限に抑えた後退安定な QR アルゴリズムを構築し、高い条件数を持つ行列に対しても有効に機能すること。
• ハウスホルダー型手法に依存せず、実用的かつ並列化可能な手法を提供すること。

提案手法

• グラム行列 AᵀA にシフト sI を加え、AᵀA + sI を形成することで、コレスキー分解 RᵀR = AᵀA + sI が数値的に安定することを保証する。
• R = chol(AᵀA + sI) を計算し、Q₁ = XR⁻¹ を形成することで、条件数が ≤ 𝒪(u⁻¹/²) に低下する。
• Q₁ に対して CholeskyQR2 を適用し、安定な QR 分解を計算することで、Q と R₁ を得る。このとき、Orthogonality と残差誤差は 𝒪(u) に抑えられる。
• 結果を組み合わせて最終的な QR 分解 A = Q(R₁R⁻¹) を得る。実際にはコレスキー QR を3回実行する。
• AR⁻¹ の条件数が 𝒪(u⁻¹/²) に抑えられるように、シフト s を選択することで、CholeskyQR2 の安全な適用を可能にする。
• 厳密な後退誤差解析を提供し、計算された Q の残差と正規直交性の誤差が両方とも 𝒪(u) に抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 条件数が 𝒪(u⁻¹) に達する行列に対し、コレスキー QR が CholeskyQR2 の 𝒪(u⁻¹/²) の限界を超えて安定化できるか。
• RQ2 AᵀA + sI のコレスキー分解が数値的に安定であり、同時に AR⁻¹ の条件数が改善されるようなシフト戦略は何か。
• RQ3 3段階のプロセス（シフト付きコレスキー QR + CholeskyQR2）は、残差誤差が 𝒪(u) に抑えられる後退安定な QR 分解を実現するか。
• RQ4 本手法は、通信を回避する既存の手法やハウスホルダー型 QR アルゴリズムと比較して、安定性と性能の点で優れているか。
• RQ5 本手法は、標準的なユークリッド空間を超えて、斜交内積空間に対しても拡張可能であり、安定性と並列性を保つことができるか。

主な発見

• shiftedCholeskyQR3 アルゴリズムは、条件数が 𝒪(u⁻¹) に達する行列に対しても後退安定性を達成し、コレスキー QR に基づく手法の適用範囲を拡張した。
• 計算された Q は、‖QᵀQ − I‖₂ = 𝒪(u) を満たし、残差は ‖A − QR‖F / ‖A‖F = 𝒪(u) に抑えられ、後退安定性が確認された。
• 実際にはコレスキー QR を3回実行するが、シフトのおかげで2回目のコレスキー QR ステップ（CholeskyQR2）が数値的に安全に実行可能である。
• 残差の境界が 5n²u‖X‖₂ に改善され、以前の境界 5n²√n u‖X‖₂ よりも √n 倍厳しくなった。
• 実験では、他の手法と比較して最大 40× の高速化を達成し、並列化が非常に容易である。
• 本手法は斜交内積空間に対しても有効であり、標準的なユークリッド空間を超えた応用可能性を広げた。