[논문 리뷰] Communication-optimal parallel and sequential QR and LU factorizations

James Demmel, Laura Grigori외 2명|arXiv (Cornell University)|2008. 08. 19.

Interconnection Networks and Systems참고 문헌 33인용 수 34

한 줄 요약

이 논문은 분산 및 계층적 메모리 시스템에서 데이터 이동(지연 및 대역폭)을 최소화하는 통신 최적화 병렬 및 순차적 QR 및 LU 분해 알고리즘—TSQR 및 CAQR—을 제시한다. 행렬 곱셈에서의 통신 하한선을 QR 및 LU 분해로 확장함으로써, 저자들은 알고리즘이 다항로그 인자까지 최적의 통신 복잡도를 달성함을 증명하며, LAPACK 및 ScaLAPACK보다 메시지 수와 데이터 이동을 크게 줄였고, 하우스홀더 QR와 동등한 수치적 안정성을 유지한다.

ABSTRACT

We present parallel and sequential dense QR factorization algorithms that are both optimal (up to polylogarithmic factors) in the amount of communication they perform, and just as stable as Householder QR. We prove optimality by extending known lower bounds on communication bandwidth for sequential and parallel matrix multiplication to provide latency lower bounds, and show these bounds apply to the LU and QR decompositions. We not only show that our QR algorithms attain these lower bounds (up to polylogarithmic factors), but that existing LAPACK and ScaLAPACK algorithms perform asymptotically more communication. We also point out recent LU algorithms in the literature that attain at least some of these lower bounds.

연구 동기 및 목표

• 고성능 계산에서 부동소수점 연산과 통신 비용 간의 성능 격차가 점점 커지는 데 대응한다.
• 과학 계산에서 널리 사용되는 표준 밀도 QR 및 LU 분해에서의 통신 격차를 규명하고 이를 메우는 데 목적이 있다.
• 이론적 하한선에 맞는 데이터 이동을 최소화하면서도 수치적 안정성이 보장되는 알고리즘을 개발한다.
• 행렬 곱셈에 대한 통신 하한선이 QR 및 LU 분해로 확장됨을 증명함으로써 최적성 분석을 가능하게 한다.
• 기존의 LAPACK 및 ScaLAPACK 구현체가 필요 이상으로 점진적으로 더 많은 통신을 수행하고 있음을 입증한다.

제안 방법

• 홍 및 쿤(Hong & Kung), 아이언이 등(Hironi et al.)이 알려준 행렬 곱셈에 대한 기존 통신 하한선을 QR 및 LU 분해에 적용 가능한 지연 하한선으로 확장한다.
• 행렬의 행 수가 열 수보다 훨씬 많은 경우를 대비해 TSQR(Tall Skinny QR)를 설계하며, 메시지 수를 최소화하기 위해 트리 기반 감소 기법을 사용한다.
• 일반적인 직사각형 행렬을 대상으로 하며, 블록 기반의 재귀적 접근을 통해 데이터 이동을 줄이는 CAQR(Communication-Avoiding QR)를 개발한다.
• 자코비안 기반 분석을 통해 정보 손실 없이 통신을 더 이상 줄일 수 없음을 증명함으로써 이론적 최적성을 확립한다.
• 병렬 및 순차적 환경 모두에서 통신을 최소화하기 위해 알고리즘 레이아웃(블록 크기, 프로세서 격자)을 최적화한다.
• 통합된 계산 모델을 사용해 성능를 모델링한다: 시간 = 연산 수 × 연산당 시간 + 이동된 단어 수 × (1/대역폭) + 메시지 수 × 지연, 통신과 계산의 겹침을 배제한다.

실험 결과

연구 질문

• RQ1 QR 및 LU 분해를 위한 통신 회피 알고리즘이 데이터 이동의 이론적 하한선에 도달할 수 있는가?
• RQ2 기존의 LAPACK 및 ScaLAPACK 구현체가 필요 이상으로 점진적으로 더 많은 통신을 수행하는가?
• RQ3 행렬 곱셈에 대해 유도된 통신 하한선을 QR 및 LU 분해로 확장할 수 있는가?
• RQ4 순차적 및 병렬 QR 및 LU 분해에서 최소한의 메시지 수와 이동된 단어 수는 얼마인가?
• RQ5 통신 회피 알고리즘이 하우스홀더 QR 수준의 수치적 안정성을 유지할 수 있는가?

주요 결과

• TSQR은 병렬 QR 분해에서 메시지 수를 log P로 줄이며, 이는 최적이며 ScaLAPACK의 PDGEQRF보다 2n 배 적다.
• CAQR은 병렬 환경에서 메시지 수를 Θ(√(nP/m))로 줄이며, 이는 최적이며 ScaLAPACK보다 Θ(√(mn/P)) 배 적다.
• 순차적 모드에서 TSQR은 빠른 메모리와 느린 메모리 간에 오직 2mn 단어를 이동하며, 이는 최적이며 블록화된 하우스홀더 QR보다 mn/(4W) 배 적다.
• CAQR은 순차적 모드에서 데이터 이동을 Θ(mn²/√W)로 줄이며, 이는 최적이며 블록화된 하우스홀더 QR보다 Θ(m/√W) 배 적다.
• CAQR은 순차적 모드에서 오직 12mn²/W³ᐟ²개의 메시지를 요구하며, 이는 최적이며 하우스홀더 QR보다 현저히 적다.
• 논문은 행렬 곱셈에 대한 통신 하한선이 QR 및 LU 분해에도 적용됨을 증명하며, 제안된 알고리즘에 대한 공식적인 최적성 증명을 가능하게 한다.