[논문 리뷰] Strong Scaling of Matrix Multiplication Algorithms and Memory-Independent Communication Lower Bounds

Grey Ballard, James Demmel외 3명|arXiv (Cornell University)|2012. 02. 14.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 16

한 줄 요약

이 논문은 분산 메모리 시스템에서 고전적 및 스트라센 기반 행렬 곱셈 알고리즘에 대해 메모리 독립적 통신 하한을 설정하며, 완벽한 강력 스케일링(프로세서 수에 비례해 통신 비용이 선형으로 감소)이 문제 크기와 로컬 메모리에 의해 결정되는 한계를 초과할 수 없음을 증명한다. 이러한 하한은 이러한 한계를 초과하면 통신 비용이 선형 이하로 증가함을 보여주며, 최적 알고리즘일지라도 강력 스케일링에 제한을 둔다.

ABSTRACT

A parallel algorithm has perfect strong scaling if its running time on P processors is linear in 1/P, including all communication costs. Distributed-memory parallel algorithms for matrix multiplication with perfect strong scaling have only recently been found. One is based on classical matrix multiplication (Solomonik and Demmel, 2011), and one is based on Strassen's fast matrix multiplication (Ballard, Demmel, Holtz, Lipshitz, and Schwartz, 2012). Both algorithms scale perfectly, but only up to some number of processors where the inter-processor communication no longer scales. We obtain a memory-independent communication cost lower bound on classical and Strassen-based distributed-memory matrix multiplication algorithms. These bounds imply that no classical or Strassen-based parallel matrix multiplication algorithm can strongly scale perfectly beyond the ranges already attained by the two parallel algorithms mentioned above. The memory-independent bounds and the strong scaling bounds generalize to other algorithms.

연구 동기 및 목표

• 행렬 곱셈 알고리즘에 대한 알려진 통신 상한과 이론적 하한 사이의 격차를 메우기 위해.
• 특히 고전적 및 스트라센 기반 알고리즘에 대해 분산 메모리 행렬 곱셈에서 완벽한 강력 스케일링의 한계를 분석하기 위해.
• 행렬 곱셈을 초월해 다른 알고리즘으로 일반화 가능한 메모리 독립적 통신 하한을 도출하기 위해.
• 강력 스케일링 성능을 제약하는 통신 비용, 문제 크기, 로컬 메모리 간의 기본적 상충 관계를 규명하기 위해.

제안 방법

• 계산 DAG의 간선 확장 성질에 기반한 그래프 이론 기반 기법을 사용해 메모리 독립적 통신 하한을 유도한다.
• 대역폭 비용이 전송된 단어 수에 비례하고 지연 시간이 전송된 메시지 수에 비례하는 분산 메모리 계산 모델을 적용한다.
• 스트라센 알고리즘의 재귀적 구조와 지수 ω₀ = log₂7 ≈ 2.81을 활용해 빠른 행렬 곱셈에 대한 하한을 유도한다.
• 충분히 큰 P에 대해, 모든 통신 최적화 알고리즘은 스트라센 기반 알고리즘에서 최소 Ω(n² / P²/ω₀)단어를 이동해야 한다고 증명한다.
• 고전적 행렬 곱셈으로의 분석을 확장하여, 유사한 가정 하에 하한이 Ω(n² / P²/³)임을 보여준다.
• LU, 코レス키 분해, 희소 행렬 연산을 포함한 f_ij(g_ijk(Mem(a), Mem(b))) 형태의 다른 알고리즘으로 하한을 일반화한다.

실험 결과

연구 질문

• RQ1 분산 메모리 환경에서 스트라센 기반 행렬 곱셈의 통신 비용에 대한 이론적 한계는 무엇인가?
• RQ2 일정 수의 프로세서를 초과하면 완벽한 강력 스케일링을 달성할 수 있는가? 만약 불가능하면 그 이유는 무엇인가?
• RQ3 메모리 독립적 통신 하한과 메모리 의존적 하한은 강력 스케일링의 상한을 결정하는 데 어떻게 비교되는가?
• RQ4 이러한 통신 하한은 밀도 높은 및 희소 선형 대수 알고리즘으로 얼마나 일반화될 수 있는가?
• RQ5 문제 크기, 로컬 메모리, 그리고 완벽한 강력 스케일링이 가능한 최대 프로세서 수 사이의 관계는 무엇인가?

주요 결과

• 논문은 스트라센 기반 행렬 곱셈에 대해 메모리 독립적 통신 하한 Ω(n² / P²/ω₀)을 설정하며, 여기서 ω₀ = log₂7 ≈ 2.81이다.
• 고전적 행렬 곱셈의 경우, 메모리 독립적 하한은 Ω(n² / P²/³)이며, 일정한 프로세서 수를 초과하면 이 하한이 지배한다.
• 완벽한 강력 스케일링—프로세서 수 증가에 따라 실행 시간이 선형 감소—는 스트라센의 경우 P_max = Θ(P_min^{ω₀/2})까지, 고전적 곱셈의 경우 P_max = Θ(P_min^{3/2})까지만 달성 가능하다.
• 강력 스케일링 범위는 메모리 의존적 지연 하한이 일정해지는 순간에 정확히 끝나며, 이는 대역폭 스케일링으로 인한 경직된 한계를 시사한다.
• P_max를 초과하면 통신 비용은 스트라센의 경우 1/P²/ω₀, 고전적 곱셈의 경우 1/P²/³로 증가하며, 1/P로 증가하지 않아 완벽한 강력 스케일링이 깨진다.
• 유도된 하한은 LU/코レス키 분해, 희소 행렬-행렬 곱셈, 모든 쌍 최단 경로 등과 같은 다른 알고리즘으로 일반화되며, 동일한 계산 모델 하에서 적용 가능하다.