[논문 리뷰] A Critical Path Approach to Analyzing Parallelism of Algorithmic Variants. Application to Cholesky Inversion

Henricus Bouwmeester, Julien Langou|arXiv (Cornell University)|2010. 10. 11.

Matrix Theory and Algorithms참고 문헌 5인용 수 9

한 줄 요약

이 논문은 다핵 아키텍처에서 타일링된 콜레스키 역행렬 계산의 알고리즘 변종을 평가하고 비교하기 위해 임계 경로 분석 프레임워크를 도입한다. 이 프레임워크는 작업 수와 플롭 기반 가중치를 모두 사용한다. 실험을 통해 임계 경로가 가장 짧은 변종(변종 3)이 가장 뛰어난 성능을 보임을 입증하였으며, 48코어 시스템에서의 실험 결과를 통해 다핵 환경에서의 확장성 예측에 총 플롭 수보다 임계 경로 길이가 더 우수한 지표임을 확인하였다.

ABSTRACT

Algorithms come with multiple variants which are obtained by changing the mathematical approach from which the algorithm is derived. These variants offer a wide spectrum of performance when implemented on a multicore platform and we seek to understand these differences in performances from a theoretical point of view. To that aim, we derive and present the critical path lengths of each algorithmic variant for our application problem which enables us to determine a lower bound on the time to solution. This metric provides an intuitive grasp of the performance of a variant and we present numerical experiments to validate the tightness of our lower bounds on practical applications. Our case study is the Cholesky inversion and its use in computing the inverse of a symmetric positive definite matrix.

연구 동기 및 목표

• 다핵 플랫폼에서 타일링된 콜레스키 역행렬의 알고리즘 변종 간 성능 차이를 이해하기 위해.
• 다핵 아키텍처에서 총 플롭 수보다 임계 경로 길이가 더 관련성이 높은 성능 지표임을 입증하기 위해.
• 임계 경로 분석을 통해 시간-해결 이론적 하한을 도출하기 위해.
• 48코어 시스템에서의 수치 실험을 통해 이러한 하한의 날카로움을 검증하기 위해.
• 타일링된 선형 대수에서 동적 스케줄링을 위한 최적의 알고리즘 변종 선택을 안내하기 위해.

제안 방법

• 데이터 흐름을 나타내는 의존성 관계를 포함한 작업의 방향성 비순환 그래프(DAG)로 콜레스키 역행렬을 모델링한다.
• 작업의 가중치를 균일하게 또는 계산 비용(플롭 수)에 기반하여 할당하며, 가중치를 단순화하기 위해 b³/3을 단위로 사용한다.
• 각 알고리즘 변종에 대해 작업 수와 총 플롭 수 기반으로 임계 경로 길이를 계산한다.
• BLAS/LAPACK 커널을 사용하여 타일 기반 알고리즘(TILE_POTRF, TILE_TRTRI, TILE_LAUUM)에 동적 스케줄링을 적용한다.
• 내부 및 외부 구현 변종을 비교하여 오버헤드와 확장성 영향을 평가한다.
• 임계 경로 분석을 통해 성능의 이론적 상한을 유도하고, 48코어 머신에서의 실험 결과와 비교한다.

실험 결과

연구 질문

• RQ1 플롭 기반 가중치 하에서 타일링된 콜레스키 역행렬의 어떤 알고리즘 변종이 가장 짧은 임계 경로 길이를 가지는가?
• RQ2 다핵 플랫폼에서의 실제 성능과 임계 경로 길이는 어떤 관련성이 있는가?
• RQ3 내부 및 외부 구현 방식은 임계 경로 길이와 성능에 어느 정도의 영향을 미치는가?
• RQ4 임계 경로 길이가 동적 스케줄링 환경에서의 확장성 예측에 신뢰할 수 있는 지표가 될 수 있는가?
• RQ5 총 플롭 수가 유사한데도 불구하고 왜 TILE_TRTRI의 변종 3이 다른 변종보다 성능이 뛰어나게 되는가?

주요 결과

• TILE_TRTRI의 변종 3가 가장 짧은 플롭 기반 임계 경로 길이를 가지며, 이는 실험에서 뛰어난 성능을 보이는 이유를 설명한다.
• 임계 경로 길이 지표는 관측된 성능과 강하게 상관되며, 실험 결과는 이론적 상한과 매우 밀접하게 일치한다.
• 외부 구현 변종은 오버헤드를 유발하지만, 버퍼 사용 덕분에 오직 변종 1만이 더 짧은 임계 경로를 얻는다. 변종 2와 3에서는 이러한 현상이 관찰되지 않는다.
• 임계 경로 분석을 통해 유도된 성능 하한은 스레드 수가 적거나 매우 많을 경우 가장 날카로워지며, 중간 범위에서는 다소의 차이가 발생한다.
• 임계 경로 길이는 다핵 시스템에서 작업 수준의 병렬성이 순차적 의존성에 의해 제한되는 경우 총 플롭 수보다 확장성 예측에 더 나은 지표이다.
• SC 2010에서의 PLASMA 소프트웨어 릴리스에는 본 연구에서 도출된 콜레스키 역행렬 구현이 포함될 예정이다.