[논문 리뷰] Tiled QR factorization algorithms

Henricus Bouwmeester, Mathias Jacquelin외 2명|arXiv (Cornell University)|2011. 04. 22.

Interconnection Networks and Systems참고 문헌 12인용 수 4

한 줄 요약

이 논문은 직사각형 행렬에 대해 테일링된 QR 분해 알고리즘을 제안하며, 피보나치 및 그리디 스케줄링 전략을 사용하여 다핵 아키텍처에서의 병렬성을 최적화한다. 두 알고리즘 모두 p = q²f(q) 이면서 lim f(q) = 0 인 행렬에 대해 점점 더 최적임을 증명하며, 실험 결과 플라즈마트리(PlasmaTree) 및 플랫트리(FlaTTree)와 같은 기존 방법들보다 뛰어난 성능을 보이며, 특히 장고 행렬에서 두드러진다.

ABSTRACT

This work revisits existing algorithms for the QR factorization of rectangular matrices composed of p-by-q tiles, where p >= q. Within this framework, we study the critical paths and performance of algorithms such as Sameh and Kuck, Modi and Clarke, Greedy, and those found within PLASMA. Although neither Modi and Clarke nor Greedy is optimal, both are shown to be asymptotically optimal for all matrices of size p = q^2 f(q), where f is any function such that \lim_{+\infty} f= 0. This novel and important complexity result applies to all matrices where p and q are proportional, p = λq, with λ>= 1, thereby encompassing many important situations in practice (least squares). We provide an extensive set of experiments that show the superiority of the new algorithms for tall matrices.

연구 동기 및 목표

• 수치선형대수 작업부하의 가속을 위해 다핵 아키텍처에서 매우 병렬적인 QR 분해 알고리즘의 필요성을 해결한다.
• 기존의 테일링 전략(예: 세임스-쿠크, 플랫트리, 플라즈마트리)을 개선하기 위해, 조정 파rameter 없이 병렬성을 향상시키는 새로운 스케줄링 알고리즘을 도입한다.
• 긴장한 행렬에 대해 점점 더 최적임을 입증하기 위해 피보나치 및 그리디 알고리즘의 이론적 최적성을 점점 더 큰 규모에서 확립한다.
• 광범위한 실험을 통해 새로운 알고리즘이 임계 경로 길이와 실행 시간 측면에서 최신 구현보다 뛰어나다는 것을 입증한다.

제안 방법

• 스칼라 연산을 테일 수준의 변환으로 대체하여, 테일 기반 QR 분해에 피보나치 및 그리디 스케줄링 전략을 적용한다.
• 테일을 계산 단위로, 간선을 데이터 의존성으로 간주하여 의존성 그래프로 계산을 모델링한다.
• 임계 경로 분석을 통해 각 알고리즘의 이론적 성능 한계를 평가하며, 병렬성과 지연 시간에 중점을 둔다.
• 이중 정밀도 및 복소수 이중 정밀도에서 다핵 시스템에서 TT(긴장 테일) 및 TS(정사각형 테일) 커널을 사용하여 새로운 알고리즘을 구현하고 벤치마킹한다.
• 임계 경로 길이 및 실행 시간 등의 지표를 사용하여 플랫트리, 플라즈마트리, 세임스-쿠크와 같은 기존 알고리즘과 결과를 비교한다.
• 효율적인 테일 갱신을 위해 압축된 WY 표현 방식과 레벨 3 BLAS를 활용하며, 하우스홀더 반사와 그리븐즈 스타일 스케줄링의 병렬성과 안정성을 결합한다.

실험 결과

연구 질문

• RQ1 피보나치 및 그리디 스케줄링 전략이 테일 기반 QR 분해에 효과적으로 적용되어 병렬성을 향상시킬 수 있는가?
• RQ2 피보나치 및 그리디 알고리즘이 어떤 행렬 크기 조건에서 점점 더 최적인가?
• RQ3 실험적으로 플라즈마트리 및 플랫트리와 같은 기존 구현과 비교할 때, 새로운 알고리즘의 실행 시간과 임계 경로 길이 측면에서 어떻게 성능을 냈는가?
• RQ4 피보나치 및 그리디 알고리즘에서 도메인 크기 등의 조정 파rameter가 없음으로써 다양한 행렬 형태에서 더 견고한 성능을 발휘하는가?
• RQ5 다핵 환경에서 TT 커널을 사용하는 테일 기반 알고리즘이 정사각형 테일 대비 성능 향상에 얼마나 기여하는가?

주요 결과

• 피보나치 및 그리디 알고리즘은 p = q²f(q) 이면서 lim f(q) = 0 인 모든 행렬에 대해 점점 더 최적이다. 이는 p = λq 이며 λ ≥ 1 인 중요한 경우를 포함한다.
• 장고 행렬의 경우(예: p=40, q=1), 그리디 알고리즘이 플라즈마트리(TT) 대비 실행 시간에서 28.09% 향상되었으며, 플라즈마트리(TS)의 경우 그리디 대비 오버헤드는 1.0153, 플라즈마트리(TT)의 경우 1.0152였다.
• 복소수 이중 정밀도에서 p=40, q=1 인 경우 피보나치 알고리즘이 그리디 대비 실행 시간을 최대 28.15% 감소시켰으며, 그리디 대비 오버헤드는 0.7185였다.
• 이중 정밀도에서 p=40, q=2 인 경우 그리디 알고리즘이 플라즈마트리(TT) 대비 13.64% 성능 향상을 보였으며, 오버헤드는 0.8636였다.
• 모든 테스트된 행렬 크기에서 새로운 알고리즘은 플라즈마트리(TT)를 초월하며, 그리디 대비 실행 시간 상의 향상은 0.0067에서 0.1364의 범위를 보였다.
• 실험 결과는 새로운 알고리즘이 조정 파rameter(예: 도메인 크기)가 필요로 하지 않으며, 이전의 접근 방식들([12] 등)과 달리 견고함을 확인하였다.