[논문 리뷰] Red-blue pebbling revisited: near optimal parallel matrix-matrix multiplication

Grzegorz Kwaśniewski, Marko Kabić외 4명|arXiv (Cornell University)|2019. 08. 26.

Parallel Computing and Optimization Techniques참고 문헌 50인용 수 10

한 줄 요약

COSMA는 통신 최적화에 가까운 병렬 행렬-행렬 곱셈 알고리즘으로, 빨간-파랑 페블 게임 추상화를 사용해 최적의 순차적 스케줄을 유도하고 이를 통신 최적성을 유지하면서 병렬화한다. 수동 튜닝 없이 Piz Daint에서 최대 88%의 피크 성능을 달성하며, ScaLAPACK, CARMA, CTF를 최대 12.8배(평균 2.2배) 뛰어넘는다.

ABSTRACT

We propose COSMA: a parallel matrix-matrix multiplication algorithm that is near communication-optimal for all combinations of matrix dimensions, processor counts, and memory sizes. The key idea behind COSMA is to derive an optimal (up to a factor of 0.03\% for 10MB of fast memory) sequential schedule and then parallelize it, preserving I/O optimality. To achieve this, we use the red-blue pebble game to precisely model MMM dependencies and derive a constructive and tight sequential and parallel I/O lower bound proofs. Compared to 2D or 3D algorithms, which fix processor decomposition upfront and then map it to the matrix dimensions, it reduces communication volume by up to $\sqrt{3}$ times. COSMA outperforms the established ScaLAPACK, CARMA, and CTF algorithms in all scenarios up to 12.8x (2.2x on average), achieving up to 88\% of Piz Daint's peak performance. Our work does not require any hand tuning and is maintained as an open source implementation.

연구 동기 및 목표

• 비정방형 행렬이나 임의의 프로세서 수에 대해 통신 비효율적인 기존 병렬 행렬-행렬 곱셈 알고리즘의 한계를 해결한다.
• 모든 행렬 차원 조합, 프로세서 수, 메모리 크기에 대해 I/O 최적화된 통합 알고리즘을 개발한다.
• 블록 크기나 프로세서 격자 구성의 수동 튜닝이 필요 없도록, 구축 가능한 근사 최적 스케줄을 유도함으로써 고성능 행렬 곱셈에서 수동 튜닝의 필요성을 제거한다.
• 다양한 워크로드와 하드웨어 구성에서 기존 라이브러리인 ScaLAPACK, CARMA, CTF를 넘어선 실용적 성능 향상을 달성한다.

제안 방법

• 행렬-행렬 곱셈의 데이터 의존성을 모델링하기 위해 빨간-파랑 페블 게임을 사용하고, 순차적 및 병렬 I/O 하한을 엄밀하게 유도한다.
• 메모리 제약 조건 하에서 페블링 문제를 해결함으로써 최적의 순차적 스케줄을 구성하여, 주어진 메모리 크기에서 최소 I/O를 보장한다.
• 유지된 I/O 최적성을 보장하면서 유도된 순차적 스케줄을 병렬화하고, 2의 거듭제곱 제약 없이도 임의의 수의 프로세서에 계산을 매핑한다.
• 블로킹된 데이터 레이아웃, 통신-계산 겹침, 일방 통신과 같은 알고리즘 최적화를 적용하여 성능을 향상시킨다.
• I/O 하한의 구축 증명을 활용하여, 10MB의 빠른 메모리에서 이론적 최소값에 0.03% 이내로 근접한 성능을 확보한다.
• 재현 가능성과 실질적 구현을 보장하기 위해 오픈소스 라이브러리로 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 모든 행렬 차원과 프로세서 수에 대해 통신 최적화이면서도 일반적인 목적을 가진 행렬-행렬 곱셈 알고리즘이 가능할 수 있는가?
• RQ2 빨간-파랑 페블 게임이 병렬 알고리즘에 대해 구축 가능한 엄밀한 I/O 하한을 도출하는 데 얼마나 효과적인가?
• RQ3 실제 환경에서 통신 최적 알고리즘이 ScaLAPACK, CARMA, CTF와 같은 최첨단 라이브러리와 비교해 성능가능한가?
• RQ4 블록 크기나 프로세서 격자 구성의 수동 튜닝 없이도 근사 최적 알고리즘을 구현할 수 있는가?
• RQ5 현대 슈퍼컴퓨터에서 점근적 통신 최적성의 실질적 영향은 실제 런타임과 성능에 어떤가?

주요 결과

• COSMA는 2D 및 2.5D 알고리즘 대비 통신 볼륨을 최대 √3 배까지 줄이며, 비정방형 행렬과 2의 거듭제곱이 아닌 프로세서 수에 특히 유리하다.
• 알고리즘은 Piz Daint의 피크 성능을 최대 88%까지 달성하며, 모든 테스트 구성에서 ScaLAPACK, CARMA, CTF를 뛰어넘는다.
• 일부 시나리오에서는 기존 라이브러리 중 가장 빠른 것보다 12.8배 빠르며, 평균 2.2배의 속도 향상을 보여 실용적 우수성을 입증한다.
• 10MB의 빠른 메모리에서 이론적 I/O 하한에 0.03% 이내로 근접하여 통신 비용 측면에서 근사 최적성을 확인한다.
• 이 방법은 LU 분해 및 코レス키 분해와 같은 다른 선형 대수 커널으로 일반화 가능하며, 다중 메모리 레벨을 지원한다.
• 오픈소스 구현은 수동 튜닝이 필요 없게 하여, 다양한 HPC 환경에서 생산성과 배포가 가능한 상태로 만든다.