[논문 리뷰] Tiled Algorithms for Matrix Computations on Multicore Architectures

Henricus Bouwmeester|arXiv (Cornell University)|2013. 03. 13.

Parallel Computing and Optimization Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 다중코어 아키텍처에서 행렬 계산을 위한 타일링 알고리즘을 소개하며, 동적 작업 스케줄링과 컴파일러 최적화를 활용하여 기존 LAPACK 라이브러리보다 더 높은 병렬성과 성능을 달성한다. 코レス키 및 QR 분해를 위한 최적의 스케줄링 전략과 알고리즘 개선을 제안하며, 임계 경로 분석과 정수 프로그래밍 수식을 통해 유한한 프로세서 수 환경에서 근사 최적의 성능 한계를 달성한다.

ABSTRACT

The current computer architecture has moved towards the multi/many-core structure. However, the algorithms in the current sequential dense numerical linear algebra libraries (e.g. LAPACK) do not parallelize well on multi/many-core architectures. A new family of algorithms, the tile algorithms, has recently been introduced to circumvent this problem. Previous research has shown that it is possible to write efficient and scalable tile algorithms for performing a Cholesky factorization, a (pseudo) LU factorization, and a QR factorization. The goal of this thesis is to study tiled algorithms in a multi/many-core setting and to provide new algorithms which exploit the current architecture to improve performance relative to current state-of-the-art libraries while maintaining the stability and robustness of these libraries.

연구 동기 및 목표

• 현대의 다중코어 아키텍처에서 순차적 LAPACK 알고리즘의 열악한 병렬화 문제를 해결한다.
• 수치적 안정성과 강건성을 유지하면서 성능을 향상시키는 타일링 알고리즘을 개발한다.
• 유한한 수의 프로세서를 고려한 스케줄링 및 알고리즘 설계를 최적화하여 임계 경로 길이를 최소화한다.
• 이론적 성능 한계를 수립하고 최신 라이브러리와의 실험적 검증을 수행한다.
• 동적 작업 스케줄링을 고급 컴파일러 기법과 통합하여 타일 기반 커널에서의 병렬성을 향상시킨다.

제안 방법

• 기존 LAPACK 코드를 최소한의 수정으로 실행 가능한 타일 알고리즘으로 변환하기 위해 동적 작업 스케줄링을 사용한다.
• 배열 이름 변경, 루프 뒤집기, 파ип라이닝 등의 컴파일러 최적화를 적용하여 타일 기반 커널의 병렬성을 증가시킨다.
• 타일링 알고리즘을 방향성 있는 비순환 그래프(DAG)로 모델링하고, 다양한 스케줄링 전략에 대한 임계 경로 길이를 분석한다.
• 유한한 프로세서 제약 조건 하에서 QR 분해의 감소 트리와 스케줄링을 동시에 최적화하기 위해 정수 프로그래밍 모델을 수립한다.
• 코レス키 및 QR 분해의 시간-해결 성능에 대한 이론적 하한을 유도하여 최적성 평가를 수행한다.
• 기존의 그리디(Greedy) 및 피보나치(Fibonacci) 알고리즘보다 임계 경로 길이가 짧은 새로운 최적의 타일링 QR 알고리즘을 제안한다.

실험 결과

연구 질문

• RQ1 동적 작업 스케줄링을 활용해 기존 LAPACK 코드를 타일링 알고리즘으로 효율적으로 변환할 수 있는가?
• RQ2 타일 기반 행렬 역행렬 및 분해 커널에서 병렬성을 극대화하기 위해 필요한 컴파일러 기법은 무엇인가?
• RQ3 유한한 프로세서 수 제약 조건 하에서 코レス키 분해의 임계 경로를 최소화하는 스케줄링 전략은 무엇인가?
• RQ4 거시적 수준의 알고리즘(Greedy 등)의 최적성은 타일링 모델로도 유지되는가? 그렇지 않다면 새로운 최적의 타일링 알고리즘은 어떻게 구성할 수 있는가?
• RQ5 타일링 QR 분해의 이론적 시간-해결 하한은 무엇이며, 실용적 스케줄링은 이 하한에 얼마나 가까이 도달하는가?

주요 결과

• 루프 뒤집기는 타일 기반 코レス키 역행렬에서 성능을 크게 향상시켜 임계 경로 길이를 단축하고 병렬성을 향상시킨다.
• 유한한 프로세서 수 조건 하에서 코レス키 분해의 임계 경로 스케줄링은 거의 최적에 가까우며, 시간-해결에 대한 이론적 하한이 유도되었다.
• 제안된 타일링 QR 알고리즘은 모든 테스트된 행렬 크기($p \times q$, $1 \leq p \leq 100$, $1 \leq q \leq p$)에서 그리디 및 피보나치 알고리즘보다 짧은 임계 경로 길이를 달성한다.
• 새로운 알고리즘이 타일링 환경에서 최적임을 증명하였으며, 그리디 알고리즘의 최적성은 타일링 모델로는 그대로 이어지지 않음에도 불구하고 임계 경로 길이에서 뛰어난 성능을 발휘한다.
• 정수 프로그래밍 수식은 QR 분해에서 제로링 및 업데이트 연산 간의 순서 제약 조건을 성공적으로 모델링하여 알고리즘과 스케줄링을 동시에 최적화할 수 있게 하였다.
• 실험 결과, 성능 상한이 실제 실행 시간과 매우 유사하게 나타나 이론적 성능 한계의 타당성이 검증되었다.