[논문 리뷰] Towards an Efficient Tile Matrix Inversion of Symmetric Positive Definite Matrices on Multicore Architectures

Emmanuel Agullo, Henricus Bouwmeester외 4명|arXiv (Cornell University)|2010. 02. 22.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 다중코어 아키텍처에서 대칭 양의 정부호 행렬의 역행렬을 계산하기 위한 타일 기반 알고리즘을 제안한다. 반복적 의존성과 임계 경로 길이를 줄이기 위해 컴파일러 기법인 배열 이름 변경, 루프 뒤집기, 파ip라이닝을 적용함으로써 높은 확장성과 성능을 달성하였으며, 최대 8코어를 가진 다중코어 시스템에서 최신 라이브러리들을 능가한다.

ABSTRACT

The algorithms in the current sequential numerical linear algebra libraries (e.g. LAPACK) do not parallelize well on multicore architectures. A new family of algorithms, the tile algorithms, has recently been introduced. Previous research has shown that it is possible to write efficient and scalable tile algorithms for performing a Cholesky factorization, a (pseudo) LU factorization, and a QR factorization. In this extended abstract, we attack the problem of the computation of the inverse of a symmetric positive definite matrix. We observe that, using a dynamic task scheduler, it is relatively painless to translate existing LAPACK code to obtain a ready-to-be-executed tile algorithm. However we demonstrate that non trivial compiler techniques (array renaming, loop reversal and pipelining) need then to be applied to further increase the parallelism of our application. We present preliminary experimental results.

연구 동기 및 목표

• 현대의 다중코어 아키텍처에서 대칭 양의 정부호 행렬의 역행렬을 효율적으로 계산하는 문제를 해결하기 위해.
• 타일 알고리즘에서 병렬성을 저해하는 역행렬 계산의 반복적 의존성 문제를 극복하기 위해.
• 컴파일러 기법—배열 이름 변경, 루프 뒤집기, 파이프라이닝—이 성능과 확장성에 미치는 영향을 평가하기 위해.
• 동적 스케줄링이 수동 정적 스케줄링 없이도 다수의 역행렬 단계를 효과적으로 파이프라이닝할 수 있음을 보여주기 위해.
• 기존 라이브러리들을 능가하는 높은 성능과 강한 확장성을 공유 메모리 다중코어 시스템에서 달성하기 위해.

제안 방법

• 알고리즘은 매트릭스를 작은 블록(예: b=200)으로 분할하여 세밀한 병렬성을 제공한다.
• 데이터 의존성을 런타임에 관리하기 위해 동적 작업 스케줄러를 활용하여 정적 스케줄링의 복잡성을 피한다.
• 임시 데이터 복사본을 사용함으로써 반복적 의존성(예: 읽기 이후 写기)을 제거하기 위해 배열 이름 변경을 적용하여 임계 경로 길이를 단축시킨다.
• 교환 법칙이 적용 가능한 GEMM 연산의 순서를 재정렬하기 위해 루프 뒤집기를 사용하여 각 알고리즘 단계에서 임계 경로를 최소화한다.
• 역행렬 계산의 세 단계(코レス키 분해, 해 구하기, 갱신) 사이에 파이프라이닝을 적용하여 작업 수준의 병렬성을 향상시킨다.
• 구현은 PLASMA 라이브러리에 통합되어 이중 소켓 4코어 인텔 Xeon 시스템(총 8코어)에서 평가되었다.

실험 결과

연구 질문

• RQ1 어떻게 타일 알고리즘이 반복적 의존성이 뚜렷한 역행렬 계산에 확장될 수 있는가?
• RQ2 배열 이름 변경과 루프 뒤집기가 역행렬 계산에서 병렬성 향상과 임계 경로 길이 단축에 어느 정도 기여하는가?
• RQ3 동적 스케줄러는 수동 정적 스케줄링 없이도 역행렬 계산의 세 단계를 효과적으로 파이프라이닝할 수 있는가?
• RQ4 현대의 다중코어 시스템에서 제안된 알고리즘이 기존 라이브러리들에 비해 성능적으로 얼마나 향상되는가?
• RQ5 루프 순서 선택(증가 또는 감소)이 임계 경로와 실행 시간에 어떤 영향을 미치는가?

주요 결과

• 배열 이름 변경을 적용한 비현위(Out-of-place) 버전은 특히 작은 행렬(예: N=1000)에서 더 높은 강한 확장성과 더 높은 병렬성을 확보하여 현위(In-place) 버전보다 유의미하게 높은 성능을 달성했다.
• 4000×4000 행렬에서, 7코어 이하에서는 현위 및 비현위 버전의 성능이 유사했지만, 비현위 버전은 8코어를 더 효율적으로 활용했다.
• 루프 뒤집기는 TRTRI의 임계 경로 길이를 O(t²)에서 O(t)로 단축시켰으며, UDU 순서(증가, 감소, 증가)가 난이도 높은 UUU 순서보다 경로 길이를 최소화했다.
• 파이프라이닝은 현위 버전에서 임계 경로를 9t−7개의 작업에서 9t−9개로, 비현위 버전에서는 6t−3개의 작업에서 5t−2개로 단축시켰지만, 현위 버전에서는 낮은 오버헤드로 인해 성능 향상이 미미했다.
• b=2000인 8000×8000 행렬에서 비현위 케이스에서 파이프라이닝을 비활성화하면 실행 시간이 16% 증가했으며(25.1초에서 29.2초로), 이는 파이프라이닝의 성능 이점이 확인됨.
• 동적 스케줄러는 자동 파이프라이닝을 가능하게 했으며, 반면 배열 이름 변경과 루프 뒤집기는 수동 알고리즘 수정이 필요했고, 이는 향후 자동 최적화 기법 개발의 필요성을 시사한다.