[논문 리뷰] Parallel algorithms in linear algebra

Richard P. Brent|arXiv (Cornell University)|2010. 04. 30.

Parallel Computing and Optimization Techniques참고 문헌 55인용 수 13

한 줄 요약

이 논문은 분산 메모리 MIMD 아키텍처에서 기본 선형 대수 문제—특히 가우스 소거법, QR 분해, 특이값 분해(SVD)—에 대한 병렬 알고리즘을 제시한다. 통신 효율성, 로드 밸런싱, 확장성에 중점을 두며, 문제 크기가 프로세서 수와 함께 증가할 경우 선형 속도 향상이 달성 가능하다는 것을 보이며, 가상 프로세서와 데이터 분포 전략을 사용해 안정적이고 확장 가능한 해법을 제시한다.

ABSTRACT

This report provides an introduction to algorithms for fundamental linear algebra problems on various parallel computer architectures, with the emphasis on distributed-memory MIMD machines. To illustrate the basic concepts and key issues, we consider the problem of parallel solution of a nonsingular linear system by Gaussian elimination with partial pivoting. This problem has come to be regarded as a benchmark for the performance of parallel machines. We consider its appropriateness as a benchmark, its communication requirements, and schemes for data distribution to facilitate communication and load balancing. In addition, we describe some parallel algorithms for orthogonal (QR) factorization and the singular value decomposition (SVD).

연구 동기 및 목표

• 분산 메모리 MIMD 기계에서 핵심 선형 대수 문제를 위한 효율적이고 확장 가능한 병렬 알고리즘 설계의 과제를 해결하기 위해.
• 가우스 소거법과 부분 피벗을 사용한 평가를 통해 병렬 기계의 벤치마크로 삼고, 통신 및 로드 밸런싱 요구사항을 분석하기 위해.
• 피벗을 피하는 수치적 불안정성 문제를 피하기 위해 헤스텐스와 자코비 유형 알고리즘을 활용한 QR 및 SVD와 같은 대안적 안정 방법을 탐색하기 위해.
• 문제 크기의 확장이 내재된 순차적 구성 요소가 존재하더라도 선형 속도 향상을 가능하게 하는 방식을 조사하기 위해, 확장 가능한 문제 크기 증가를 고려한 암다울의 법칙을 적용하기 위해.
• 가상 프로세서와 시스톨릭 어레이 매핑을 활용한 SVD 및 고유값 문제에 대한 실용적인 알고리즘 설계를 제공하기 위해.

제안 방법

• 물리적 프로세서의 제약에서 벗어나기 위해 가상 프로세서를 사용하여 하드웨어 제약과 무관한 알고리즘 설계를 가능하게 한다.
• 블록, 산산이 흩어진, 또는 열 기반 래핑 표현 방식과 같은 데이터 분포 전략을 적용하여 프로세서 간 통신을 최소화하고 로드를 균형 잡는다.
• 가우스 소거법과 부분 피벗을 벤치마크로 사용하여, 분산 시스템에서의 통신 오버헤드와 확장성 분석을 수행한다.
• 피벗을 피하면서도 수치적으로 안정적인 LU 분해의 대안으로 QR 분해를 제안하며, 일정 요인만큼 부동소수점 연산 수가 증가하는 대가를 치르지만 안정성을 확보한다.
• 헤스텐스 및 자코비 방법을 SVD 및 대칭 고유값 문제에 적용하여 직교 변환과 병렬 스윕을 사용한다.
• SVD의 $\pi_m A \pi_n^{-1}$ 는 $A$ 의 SVD 와 동치이므로, 일반성을 잃지 않고 블록 또는 재정렬된 데이터 레이아웃을 사용할 수 있음을 정당화한다.

실험 결과

연구 질문

• RQ1 가우스 소거법과 부분 피벗을 사용한 알고리즘이 분산 메모리 병렬 기계에 대해 확장 가능하고 대표적인 벤치마크로 활용될 수 있는가?
• RQ2 병렬 선형 대수 알고리즘에서 오버헤드를 최소화하기 위해 데이터 분포 및 통신 패턴을 어떻게 최적화할 수 있는가?
• RQ3 가우스 소거법에서 피벗을 피할 경우 수치적 안정성과 계산 효율성 사이의 상충 관계는 어떠한가?
• RQ4 문제 크기가 프로세서 수와 함께 증가할 경우 병렬 SVD 및 고유값 알고리즘이 선형 속도 향상을 달성할 수 있는가?
• RQ5 기존의 순차 알고리즘(예: QR 기반 SVD)을 시스톨릭 어레이 또는 공유 메모리 MIMD 아키텍처와 같은 병렬 아키텍처에 효율적으로 적응시킬 수 있는 정도는 어느 정도인가?

주요 결과

• 문제 크기 $N$ 이 프로세서 수 $P$ 와 함께 증가할 경우, $N \geq KP$ 를 만족하면 암다울의 법칙에 따라 $E_P \geq 1/2$ 가 보장되어 선형 속도 향상이 달성 가능하다.
• 가상 프로세서의 사용은 물리적 하드웨어 제약과 무관한 효율적 알고리즘 설계를 가능하게 하며, 확장 가능한 분석과 구현을 가능하게 한다.
• QR 분해는 피벗을 피하면서도 수치적으로 안정적인 대안을 제공하며, 일정 요인만큼 더 많은 산술 연산이 소요된다.
• 헤스텐스 방법을 활용한 SVD 및 자코비 방법을 활용한 대칭 고유값 문제는 효과적으로 병렬화될 수 있으며, $P = O(n)$ 프로세서를 사용할 경우 $O(mn^2 S / P)$ 시간 내에 수행 가능하다.
• 프로세서 수 $P = O(n^2)$ 일 경우, 블록 구조 QR과 코브레틀리츠 스타일의 방법을 사용하여 SVD를 $O(n^3 S / P)$ 시간 내에 계산할 수 있으며, 이는 효율성을 유지한다.
• 정사각형 시스톨릭 어레이에서는 대칭 행렬의 삼중대각화가 $O(n \log n)$ 시간 내에 달성 가능하며, 이는 순차적 $O(n^3)$ 에 비해 상당한 향상이지만, 이는 빠른 순차 알고리즘의 효율성을 병렬 기계에서 제한할 수 있다.