[논문 리뷰] Communication-Optimal Parallel Algorithm for Strassen's Matrix Multiplication

Grey Ballard, James Demmel외 3명|arXiv (Cornell University)|2012. 02. 14.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 통신 최적화된 병렬 Strassen 알고리즘인 CAPS(Communication-Optimal Parallel Strassen)를 제안한다. 이 알고리즘은 대역폭과 지연 시간에 대한 이론적 하한선을 정확히 충족시켜 통신 최적화를 달성한다. BFS 기반의 Strassen 재귀 트리 순회와 특수한 데이터 레이아웃을 사용하여 프로세서 간 통신을 최소화하며, Cray XT4에서 n=94080일 때 기존의 고전적 알고리즘과 Strassen 기반 알고리즘보다 24%에서 184% 빠르게 성능을 냈다.

ABSTRACT

Parallel matrix multiplication is one of the most studied fundamental problems in distributed and high performance computing. We obtain a new parallel algorithm that is based on Strassen's fast matrix multiplication and minimizes communication. The algorithm outperforms all known parallel matrix multiplication algorithms, classical and Strassen-based, both asymptotically and in practice. A critical bottleneck in parallelizing Strassen's algorithm is the communication between the processors. Ballard, Demmel, Holtz, and Schwartz (SPAA'11) prove lower bounds on these communication costs, using expansion properties of the underlying computation graph. Our algorithm matches these lower bounds, and so is communication-optimal. It exhibits perfect strong scaling within the maximum possible range. Benchmarking our implementation on a Cray XT4, we obtain speedups over classical and Strassen-based algorithms ranging from 24% to 184% for a fixed matrix dimension n=94080, where the number of nodes ranges from 49 to 7203. Our parallelization approach generalizes to other fast matrix multiplication algorithms.

연구 동기 및 목표

• 계산 복잡도가 감소했음에도 불구하고 이론적 성능 향상이 제한되었던 병렬 Strassen 행렬 곱셈의 통신 병목 현상을 해결하기 위해.
• 빠른 행렬 곱셈 알고리즘의 실질적 병렬 구현과 이론적 통신 하한선 사이의 격차를 메우기 위해.
• 분산 메모리 시스템에서 대역폭과 지연 시간 비용을 모두 최소화하는 병렬 알고리즘을 설계하여 최적의 통신 복잡도를 달성하기 위해.
• Strassen를 초월한 다른 빠른 행렬 곱셈 알고리즘으로의 접근을 일반화하여 더 넓은 범위의 방법에 대해 통신 최적화를 보장하기 위해.

제안 방법

• Strassen 알고리즘의 병렬 실행을 BFS 기반으로 제안하여 재귀 트리의 레벨 단위로 계산을 조직함으로써 세밀한 로드 밸런싱을 가능하게 하고 통신을 최소화한다.
• 행렬을 블록으로 분할하고 P 프로세서에 균일하게 분배하는 재귀적 데이터 레이아웃 전략을 적용하며, 여기서 P는 7의 거듭제곱이어야 한다(Strassen의 경우 q=7).
• 블록 순환 데이터 분포를 사용하여 로드 밸런싱을 보장하고 중복 통신을 최소화하며, 계산 그래프의 확장 성질에서 유도된 통신 하한선과 일치시킨다.
• 수정된 Strassen-Winograd 변형(7개의 곱셈 사용)을 적용하고 메모리 액세스 패턴을 최적화하여 프로세서 간 데이터 이동을 줄인다.
• 이를 바탕으로 이중형 표현을 기반으로 하는 모든 빠른 행렬 곱셈 알고리즘으로 일반화하며, 여기서 q개의 곱셈을 사용해 n₀×n₀ 행렬을 계산하고, P는 반드시 q의 거듭제곱이어야 한다.
• 분산 메모리 모델을 사용하여 통신 비용을 분석하고, 대역폭과 지연 시간의 하한선을 유도하며, 알고리즘이 이 하한선을 정확히 충족시킴을 보였다.

실험 결과

연구 질문

• RQ1 대역폭과 지연 시간에 대한 이론적 통신 하한선을 충족시키는 병렬 Strassen 기반 행렬 곱셈 알고리즘을 설계할 수 있는가?
• RQ2 프로세서 수와 메모리 크기가 병렬 빠른 행렬 곱셈의 통신 비용에 미치는 영향은 무엇이며, 모든 구성에서 이를 최소화할 수 있는가?
• RQ3 실제로 CAPS의 통신 비용은 기존의 고전적 및 Strassen 기반 알고리즘과 비교해 어떻게 되는가? 특히 프로세서 수가 다양할 경우 어떻게 되는가?
• RQ4 CAPS에서 사용된 통신 회피 전략을 다른 지수 ω₀를 가진 빠른 행렬 곱셈 알고리즘으로 일반화할 수 있는가?
• RQ5 통신 최적화된 Strassen 알고리즘의 실질적 성능 한계는 무엇이며, 하드웨어의 최대 성능에 얼마나 가까이 도달하는가?

주요 결과

• CAPS는 Strassen의 행렬 곱셈에서 대역폭과 지연 시간에 대한 이론적 하한선을 정확히 충족시켜 통신 최적화를 달성한다. 대역폭 비용은 Ω((n/M¹ᐟ²)^ω₀ · M/P)이며, 지연 시간 비용은 Ω((n/M¹ᐟ²)^ω₀ · 1/P)이며, 여기서 ω₀=log₂7이다.
• Cray XT4에서 n=94080일 때, CAPS는 프로세서 수가 49에서 7203 사이일 경우 기존의 고전적 및 Strassen 기반 알고리즘보다 24%에서 184% 빠른 성능을 기록했다.
• 최대 범위 내에서 이상적인 강한 스케일링을 보이며, 프로세서 수가 증가함에 따라 효율적인 로드 밸런싱과 최소한의 통신 오버헤드를 보였다.
• 일반적으로 계산 비용은 줄이지만 통신 비용이 증가하는 기존의 병렬 Strassen 구현보다 CAPS는 최적의 통신 비용을 유지하면서도 높은 성능을 달성했다.
• P가 q의 거듭제곱일 경우, 동일한 통신 복잡도를 유지하면서 다른 빠른 행렬 곱셈 알고리즘으로도 일반화 가능하다.
• CAPS는 대역폭에서는 하한선을 상수 인자 범위 내에서, 지연 시간에서는 log P 인자 범위 내에서 충족하지만, 하한선의 정확한 최적 상수는 아직 미해결 문제이며, 임의의 P에 대해 정확한 계산 하한선 달성 역시 아직 미해결이다.