[논문 리뷰] The MOMMS Family of Matrix Multiplication Algorithms

Tyler Smith, Robert A. Geijn|arXiv (Cornell University)|2019. 04. 11.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 메모리 대역폭이 점점 제한적인 아키텍처에서 기존 고토의 알고리즘을 능가하도록 설계된 캐시 최적화 알고리즘인 MOMMS 가족의 행렬 곱셈 알고리즘을 소개한다. 특히 L3 캐시를 포함한 다수의 캐시 레벨에서 데이터 접근 패턴을 전략적으로 재구성함으로써 I/O 비용을 감소시키고 저대역폭 시스템에서의 성능을 향상시킨다. 실험 결과, 메모리 제약 조건에서 고토의 알고리즘 대비 최대 2배의 성능 향상을 보였다.

ABSTRACT

As the ratio between the rate of computation and rate with which data can be retrieved from various layers of memory continues to deteriorate, a question arises: Will the current best algorithms for computing matrix-matrix multiplication on future CPUs continue to be (near) optimal? This paper provides compelling analytical and empirical evidence that the answer is "no". The analytical results guide us to a new family of algorithms of which the current state-of-the-art "Goto's algorithm" is but one member. The empirical results, on architectures that were custom built to reduce the amount of bandwidth to main memory, show that under different circumstances, different and particular members of the family become more superior. Thus, this family will likely start playing a prominent role going forward.

연구 동기 및 목표

• 현대 CPU에서 계산 속도와 메모리 대역폭 간의 성능 격차가 점점 커지는 문제를 해결하기 위해.
• 메모리 제약 조건에서 기존 최고 수준의 방법(예: 고토의 알고리즘)을 능가하는 새로운 행렬 곱셈 알고리즘 가족을 개발하기 위해.
• 계층적 메모리 시스템에서 L1, L2, L3 캐시 등 여러 캐시 레벨 간의 데이터 이동 간의 트레이드오프를 분석하고 최적화하기 위해.
• 다양한 매트릭스 형태와 메모리 대역폭 조건에 따라 서로 다른 MOMMS 버전이 고토의 알고리즘을 얼마나 능가하는지 실험적으로 검증하기 위해.
• 다중 캐시 레벨 환경에서 I/O 최적 알고리즘을 가능하게 하여 향후 고성능 선형 대수 라이브러리의 기반을 마련하기 위해.

제안 방법

• 고토의 알고리즘의 일반화로, L1, L2, L3 캐시 전반에 걸쳐 다수의 루프 타일링과 데이터 블로킹을 통합한 MOMMS 가족을 제안한다.
• 알고리즘 설계를 안내하기 위해 이론적 I/O 하한 모델(2mnk/√M)을 사용하여 데이터 이동의 근사 최적화를 확보한다.
• L1, L2, L3 캐시에 가장 효과적인 레벨에 맞게 최적화된 세 가지 핵심 MOMMS 버전—A3B2C0, B3A2C0, C3A2C0—을 설계한다.
• 계층적 매트릭스 저장 방식을 사용하고 데이터 패킹을 피함으로써 메모리 점유율과 TLB 압력을 감소시킨다.
• 각 캐시 레벨에서 데이터 재사용을 극대화하고 불필요한 메모리 전송을 최소화하기 위해 이중 루프 구조를 도입한다.
• 메모리 대역폭 조절이 가능한 맞춤형 하드웨어에서 성능을 검증하여, 메모리 I/O가 알고리즘 성능에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 고토의 알고리즘이 메모리 대역폭 대 계산 비율 악화로 인해 언제 하위 최적 성능을 보이게 되는가?
• RQ2 어떻게 하면 다수의 캐시 레벨(L1, L2, L3)을 동시에 최적화하여 행렬 곱셈 알고리즘을 재구성할 수 있는가?
• RQ3 다양한 매트릭스 형태와 캐시 구성 조건에서 최적의 성능을 내는 MOMMS 버전(A3B2C0, B3A2C0, C3A2C0)은 무엇인가?
• RQ4 I/O 최적 알고리즘은 얼마나 많은 에너지 소비를 줄일 수 있는가?
• RQ5 MOMMS 프레임워크는 오브젝트 오브 코어 계산 및 기타 조밀한 선형 대수 연산으로 확장될 수 있는가?

주요 결과

• 저대역폭 맞춤형 아키텍처에서 MOMMS C3A2C0 버전은 GFLOPS 기준 고토의 알고리즘 대비 최대 2배 빠른 성능을 보이며, 상당한 I/O 비용 감소를 입증했다.
• L3 캐시 크기(≈√M³)와 매트릭스 치수의 일치가 큰 경우, 해당 MOMMS 버전(예: m ≈ n ≈ √M³에 대해 C3A2C0)이 최고 성능을 기록했다.
• 특정 매트릭스 형태에 대해 최적화되지 않았더라도 MOMMS 알고리즘은 최적 알고리즘 대비 오직 50% 높은 I/O 비용을 유발했고, 반면 고토의 알고리즘은 약 2배 높은 I/O 비용을 겪었다.
• 메모리 제약 조건에서 문제 크기가 증가함에 따라 고토의 알고리즘과 MOMMS 버전 간의 성능 격차가 점점 커졌다.
• 다양한 매트릭스 형태에서 MOMMS 가족은 높은 성능을 유지하며, 두 개의 차원이 적어도 √M³이고 나머지 하나가 크면 강건한 성능을 보임을 시사한다.
• 결과적으로 향후 선형 대수 라이브러리는 메모리 제약 성능 장애가 발생하는 것을 연기하기 위해 MOMMS 스타일 알고리즘을 채택해야 한다.