[논문 리뷰] Shifted CholeskyQR for computing the QR factorization of ill-conditioned matrices

Takeshi Fukaya, Ramaseshan Kannan외 3명|arXiv (Cornell University)|2018. 09. 28.

Matrix Theory and Algorithms참고 문헌 15인용 수 5

한 줄 요약

이 논문은 조건 수가 𝒪(u⁻¹) 이하인 불량조건 행렬에 대해 후방 안정적인 QR 분해 알고리즘인 shiftedCholeskyQR3을 제안한다. 여기서 u는 유닛 반올림 오차이다. 그레엄 행렬 AᵀA에 사전에 이동항 sI를 도입함으로써 콘도레스키 분해의 수치적 안정성을 확보하고, CholeskyQR2의 안전한 적용을 가능하게 하여 세 번의 콘도레스키 QR 단계를 통해 𝒪(u) 수준의 직교성 및 잔차 오차를 달성한다.

ABSTRACT

The Cholesky QR algorithm is an efficient communication-minimizing algorithm for computing the QR factorization of a tall-skinny matrix. Unfortunately it has the inherent numerical instability and breakdown when the matrix is ill-conditioned. A recent work establishes that the instability can be cured by repeating the algorithm twice (called CholeskyQR2). However, the applicability of CholeskyQR2 is still limited by the requirement that the Cholesky factorization of the Gram matrix runs to completion, which means it does not always work for matrices $X$ with $κ_2(X)\gtrsim {\bf u}^{-\frac{1}{2}}$ where ${\bf u}$ is the unit roundoff. In this work we extend the applicability to $κ_2(X)=\mathcal{O}({\bf u}^{-1})$ by introducing a shift to the computed Gram matrix so as to guarantee the Cholesky factorization $R^TR= A^TA+sI$ succeeds numerically. We show that the computed $AR^{-1}$ has reduced condition number $\leq {\bf u}^{-\frac{1}{2}}$, for which CholeskyQR2 safely computes the QR factorization, yielding a computed $Q$ of orthogonality $\|Q^TQ-I\|_2$ and residual $\|A-QR\|_F/\|A\|_F$ both $\mathcal{O}({\bf u})$. Thus we obtain the required QR factorization by essentially running Cholesky QR thrice. We extensively analyze the resulting algorithm shiftedCholeskyQR to reveal its excellent numerical stability. shiftedCholeskyQR is also highly parallelizable, and applicable and effective also when working in an oblique inner product space. We illustrate our findings through experiments, in which we achieve significant (up to x40) speedup over alternative methods.

연구 동기 및 목표

• 조건 수가 𝒪(u⁻¹/²)를 초과하는 불량조건 행렬에서 콘도레스키 QR의 수치적 불안정성을 해결하기 위해.
• 콘도레스키 분해가 붕괴할 경우 실패하는 CholeskyQR2의 한계를 넘어서 콘도레스키 QR 기반 알고리즘의 적용 범위를 확장하기 위해.
• 통신을 최소화하고 후방 안정적인 QR 알고리즘을 개발하여 고조건 수를 가진 행렬에서도 효과적으로 작동하도록 하기 위해.
• 하우스홀더 유형의 방법에 의존하지 않고도 높은 성능과 수치적 안정성을 확보할 수 있는 실용적이고 병렬화 가능한 방법을 제공하기 위해.

제안 방법

• 그레엄 행렬 AᵀA에 이동항 sI를 도입하여 AᵀA + sI를 구성함으로써, 콘도레스키 분해 RᵀR = AᵀA + sI의 수치적 안정성을 보장한다.
• R = chol(AᵀA + sI)를 계산한 후, Q₁ = XR⁻¹를 구성함으로써 조건 수를 ≤ 𝒪(u⁻¹/²)로 감소시킨다.
• Q₁에 대해 CholeskyQR2를 적용하여 안정적인 QR 분해를 수행함으로써 Q와 R₁를 도출하며, 이때 직교성 및 잔차 오차는 𝒪(u) 수준이 된다.
• 결과를 통합하여 최종적인 QR 분해 A = Q(R₁R⁻¹)를 도출함으로써, 실제로 콘도레스키 QR를 세 번 수행하는 것으로 간주할 수 있다.
• AR⁻¹의 조건 수가 𝒪(u⁻¹/²) 이하가 되도록 보장할 수 있도록 이동값 s를 선택함으로써 CholeskyQR2의 안정적인 사용을 가능하게 한다.
• 잔차 및 직교성의 후방 오차 분석을 엄밀히 수행하여, 계산된 Q의 잔차 및 직교성 오차가 모두 𝒪(u)임을 보여준다.

실험 결과

연구 질문

• RQ1 조건 수가 𝒪(u⁻¹) 이하인 행렬에 대해 콘도레스키 QR를 𝒪(u⁻¹/²)의 한계를 넘어서 안정적으로 작동시킬 수 있는가?
• RQ2 AᵀA + sI의 콘도레스키 분해가 수치적으로 안정되면서도 AR⁻¹의 조건 수를 향상시키는 데 기여하는 이동 전략은 무엇인가?
• RQ3 세 단계 과정(이동된 콘도레스키 QR + 콘도레스키QR2)이 후방 안정적인 QR 분해를 제공하며 오차가 𝒪(u) 수준이 되는가?
• RQ4 기존의 통신 회피형 및 하우스홀더 기반 QR 알고리즘과 비교해 본다면, 제안된 방법은 안정성과 성능 면에서 어떻게 다른가?
• RQ5 안정성과 병렬화 가능성을 유지하면서도, 이동된 내적 공간으로 알고리즘을 확장할 수 있는가?

주요 결과

• shiftedCholeskyQR3 알고리즘은 조건 수가 𝒪(u⁻¹) 이하인 행렬에 대해 후방 안정성을 확보하며, 콘도레스키 QR 기반 방법의 적용 범위를 넓혔다.
• 계산된 Q는 ‖QᵀQ − I‖₂ = 𝒪(u)를 만족하고, 잔차는 ‖A − QR‖F / ‖A‖F = 𝒪(u)를 만족함으로써 후방 안정성이 확인된다.
• 알고리즘은 실질적으로 콘도레스키 QR를 세 번 수행하며, 이동항 덕분에 두 번째 콘도레스키 QR 단계(즉, CholeskyQR2)가 수치적으로 안전하다.
• 잔차 상한이 이전의 5n²√n u‖X‖₂에서 더 날카로운 5n²u‖X‖₂로 개선되어 √n 배 더 좁아졌다.
• 실험 결과, 이 방법은 매우 병렬화 가능하며, 다른 방법 대비 최대 40배의 속도 향상을 달성했다.
• 이 방법은 표준 유클리드 공간 외의 기울어진 내적 공간에서도 효과적으로 작동하며, 적용 범위를 더욱 넓혔다.