[논문 리뷰] Communication-optimal parallel and sequential QR and LU factorizations: theory and practice

James Demmel, Laura Grigori외 2명|ArXiv.org|2008. 06. 12.

graph theory and CDMA systemsEngineering참고 문헌 50인용 수 20

한 줄 요약

이 논문은 통신 최적화된 병렬 및 순차적 QR 및 LU 분해 알고리즘—높고 가늘게 생긴 행렬을 위한 TSQR과 일반 행렬을 위한 CAQR—을 제안한다. 트리 기반 감소와 블록 하우스홀더 변환을 사용하여 데이터 이동을 최소화한다. 알고리즘은 이론적으로 최적의 통신 복잡도(다항로그 인자까지)를 달성하며, 이론과 실질적으로 모두 LAPACK/ScaLAPACK을 능가한다. 페타스케일 모델에서는 최대 22.9×의 속도 향상, 클러스터에서는 최대 6.7×의 속도 향상을 기록한다.

ABSTRACT

We present parallel and sequential dense QR factorization algorithms that are both optimal (up to polylogarithmic factors) in the amount of communication they perform, and just as stable as Householder QR. Our first algorithm, Tall Skinny QR (TSQR), factors m-by-n matrices in a one-dimensional (1-D) block cyclic row layout, and is optimized for m >> n. Our second algorithm, CAQR (Communication-Avoiding QR), factors general rectangular matrices distributed in a two-dimensional block cyclic layout. It invokes TSQR for each block column factorization.

연구 동기 및 목표

• 고성능 계산에서 부동소수점 연산과 통신(지연/대역폭) 간의 성능 격차가 커지는 문제를 해결한다.
• 밀도 있는 QR 및 LU 분해에 대해 순차적 및 병렬 환경에서 통신을 최소화하는 알고리즘을 개발한다.
• 이론적 통신 최적성(다항로그 인자까지 하한선과 일치)을 달성하면서도 하우스홀더 QR과 수치적으로 안정성이 유사한 성능을 유지를 한다.
• 실제 클러스터 및 아웃오브드레인 시스템에서 기존의 LAPACK 및 ScaLAPACK 구현체에 비해 실질적인 성능 우월성을 입증한다.

제안 방법

• m ≫ n인 높고 가느란 행렬을 위한 TSQR 설계: 이진 또는 일반 트리 기반 감소를 사용해 통신을 최소화하는 QR 분해를 계산한다.
• 일반 직사각형 행렬을 위한 CAQR(통신 회피 QR) 구현: 2D 블록 순환 레이아웃에서 블록 열에 대해 TSQR을 적용한다.
• 구조화된 BLAS-3 연산을 사용한 하우스홀더 반사로 국소 분해를 최적화하고 데이터 이동을 줄인다.
• 감소 트리를 적용해 프로세서 간 국소 QR 결과를 조합하여 통신 비용이 이론적 하한선과 일치하도록 보장한다.
• 지연, 대역폭, 메모리 계층을 고려한 머신 모델을 사용해 속도 향상을 예측한다.
• 기하학적 및 조합론적 추론(예: Loomis-Whitney 부등식)을 사용해 행렬 곱셈에서 유도된 하한선을 QR 및 LU 분해로 확장한다.

실험 결과

연구 질문

• RQ1 QR 및 LU 분해를 순차적 및 병렬 환경에서 통신을 최소화하도록 재설계할 수 있는가?
• RQ2 QR 및 LU 분해에 대한 이론적 통신 하한선은 무엇이며, 실질적으로 이를 달성할 수 있는가?
• RQ3 기존의 LAPACK 및 ScaLAPACK 대비 통신 회피 알고리즘이 성능 및 수치적 안정성 측면에서 어떻게 비교되는가?
• RQ4 통신 회피 분해는 분산 메모리 시스템 및 아웃오브드레인 주요 메모리에 얼마나 잘 스케일링될 수 있는가?
• RQ5 통신 회피 접근법을 높고 가느란 행렬과 일반 직사각형 행렬 모두에 일반화할 수 있으며, 효율성 손실이 최소화되는가?

주요 결과

• TSQR과 CAQR는 순차적 및 병렬 실행 모두에서 통신 최적성(다항로그 인자까지)을 달성하며, 행렬 곱셈에서 유도된 이론적 하한선과 일치한다.
• 16개 프로세서의 펜티엄 III 클러스터에서 병렬 TSQR은 ScaLAPACK의 PDGEQRF에 비해 최대 6.7×의 속도 향상을 기록했다.
• 32개 프로세서의 BlueGene/L 시스템에서 TSQR은 병렬 실행에서 최대 4×의 속도 향상을 기록했다.
• 노트북에서 DRAM 외부에서 실행된 순차적 TSQR은 무한대 DRAM을 가정한 예측 대비 뿐만 아니라, 메모리 제약이 있는 시스템에서도 강력한 성능을 보였다.
• 성능 모델링은 CAQR이 페타스케일 머신에서 ScaLAPACK 대비 최대 22.9×의 속도 향상을 예측했으며, IBM Power5에서는 최대 9.7×의 속도 향상을 기대했다.
• CAQR와 TSQR은 각각 순차적 및 병렬 환경에서 지연과 대역폭 측면에서 LAPACK 및 ScaLAPACK을 모두 능가하며, 하우스홀더 QR과 수치적 안정성이 동일한 수준을 유지한다.