[논문 리뷰] Stability Analysis of QR factorization in an Oblique Inner Product

Bradley R. Lowery, Julien Langou|arXiv (Cornell University)|2014. 01. 21.

Matrix Theory and Algorithms참고 문헌 5인용 수 9

한 줄 요약

이 논문은 대칭 양의 정부호 행렬 $A$로 정의된 비수직 내적에서 QR 분해의 안정성 분석을 제시한다. $A$의 콜레스키 분해와 고유값 분해 기반 알고리즘, 그리고 정규 방정식을 사용하는 알고리즘을 평가한다. 주요 기여는 날카운 backward error bound 유도 및 통신을 회피하는 새로운 알고리즘 PRE-CHOLQR 도입으로, 이는 병렬 아키텍처에서 뛰어난 성능을 발휘하면서도 수치적 안정성을 유지한다.

ABSTRACT

In this paper we consider the stability of the QR factorization in an oblique inner product. The oblique inner product is defined by a symmetric positive definite matrix A. We analyze two algorithm that are based a factorization of A and converting the problem to the Euclidean case. The two algorithms we consider use the Cholesky decomposition and the eigenvalue decomposition. We also analyze algorithms that are based on computing the Cholesky factor of the normal equa- tion. We present numerical experiments to show the error bounds are tight. Finally we present performance results for these algorithms as well as Gram-Schmidt methods on parallel architecture. The performance experiments demonstrate the benefit of the communication avoiding algorithms.

연구 동기 및 목표

• 대칭 양의 정부호 행렬 $A$로 정의된 비수직 내적 공간에서 QR 분해의 수치적 안정성을 분석하는 것.
• Cholesky 분해와 고유값 분해를 기반으로 한 알고리즘의 backward error bound 평가.
• 정규 방정식 $Z^T A Z = R^T R$ 를 사용해 $R$ 을 계산하는 알고리즘의 안정성과 성능 분석.
• 통신을 회피하는 새로운 알고리즘 PRE-CHOLQR 도입 및 성능 벤치마킹.
• 현대 병렬 아키텍처에서 콜레스키 기반, 고유값 기반, 그람-슈미트 유형 알고리즘의 성능 비교.

제안 방법

• Cholesky 또는 고유값 분해를 통해 $A = B^T B$ 를 만족하는 $B$ 를 도출하여, 비수직 QR 분해 문제를 유클리드 QR 분해 문제로 변환한다.
• 콜레스키 기반 알고리즘(CHOLQR)과 고유값 기반 알고리즘(SYEV-EQR)의 backward error bound 분석을 통해, 안정성이 $\|A\| \|Q\|^2$ 비례함을 보여준다.
• QR 분해 이전에 $BZ$ 를 사전 계산하여 레벨 3 BLAS 연산을 가능하게 하고 통신 비용을 줄이는 새로운 알고리즘 PRE-CHOLQR 제안.
• 정규 방정식 $Z^T A Z = R^T R$ 를 사용해 $R$ 을 직접 계산하고, 안정성과 성능 간의 상충 관계 분석.
• 밀도 높은 및 삼중대각 행렬 $A$ 를 대상으로 최적화된 BLAS/LAPACK 라이브러리(MKL 11.0)를 사용해 알고리즘 구현 및 벤치마킹을 수행하며, 다중 코어 및 GPU 가속 시스템에서 성능 평가.
• 레벨 3 BLAS 커널 활용도 및 통신을 회피하는 특성을 중심으로, 정규화된 FLOP 속도를 사용해 성능 비교.

실험 결과

연구 질문

• RQ1 Cholesky 또는 고유값 분해를 사용할 때 비수직 내적에서의 QR 분해에 대한 backward error bound 는 무엇인가?
• RQ2 정규 방정식 기반 접근법의 안정성은 고유값 분해 기반 방법 대비 수직성 상실 측면에서 어떻게 비교되는가?
• RQ3 PRE-CHOLQR 와 같은 통신을 회피하는 알고리즘이 병렬 아키텍처에서 높은 수치적 안정성과 뛰어난 성능을 동시에 달성할 수 있는가?
• RQ4 밀도 높은 및 희소 행렬 $A$ 에서 콜레스키 기반, 고유값 기반, 그람-슈미트 기반 알고리즘의 성능 특성은 어떻게 다를까?
• RQ5 유도된 이론적 오차 한계는 날카롭고, 수치 실험 결과와 어떻게 비교되는가?

주요 결과

• 콜레스키 기반 및 고유값 기반 QR 알고리즘의 backward error bound 는 $\|A\| \|Q\|^2$ 비례하며, 수직성 상실에 대한 최선의 경우 경계를 나타낸다.
• 수치 실험 결과는 유도된 오차 한계가 모든 테스트 설정 및 행렬 유형에서 날카롭게 유지됨을 확인한다.
• 밀도 높은 $A$ 를 가진 단일 노드에서 16개 스레드로 PRE-CHOLQR 는 최대 270 GFLOPs/s 를 달성하여 기존 그람-슈미트 방법(10 GFLOPs/s 이하)을 크게 앞서간다.
• 삼중대각 $A$ 의 경우, $n$ 이 증가함에 따라 PRE-CHOLQR 는 CGS 및 MGS 를 능가하며, 피크에 가까운 7 GFLOPs/s 에 도달하고, $n$ 이 커질수록 다른 방법들을 초월한다.
• 레벨 3 BLAS 를 사용하는 알고리즘(CHOLQR, PRE-CHOLQR)은 레벨 2 BLAS 의 경우(MGS, CGS)보다 현저히 높은 성능을 보이며, 특히 현대 아키텍처에서 두드러진다.
• CHOL-EQR 는 조밀한 $A$ 에서는 고비용의 조밀한 콜레스키 분해로 인해 사용이 제한되며, PRE-CHOLQR 는 사전 계산과 효율적인 커널 사용을 통해 이 오버헤드를 피한다.