[논문 리뷰] Design Principles for Sparse Matrix Multiplication on the GPU

Carl Yang, Aydın Buluç외 1명|arXiv (Cornell University)|2018. 03. 22.

Parallel Computing and Optimization Techniques인용 수 8

한 줄 요약

이 논문은 압축 희소 행렬 형식(CSR)을 사용하여 GPU에 최적화된 두 가지 새로운 희소 행렬-밀집 행렬 곱셈(SpMM) 알고리즘을 제안한다. 병합 기반 로드 밸런싱과 행 주도의 연속 메모리 액세스를 활용하여 실제 세계 데이터셋에서 최상의 성능 대비 4.1배의 피크 성능 향상과 평균 31.7%의 성능 향상을 달성한다. 이 방법은 비용이 많이 드는 형식 변환을 피하고, 지연 숨기기와 명령어 수준의 병렬 처리에 초점을 맞춰 GPU 활용도를 향상시킨다.

ABSTRACT

We implement two novel algorithms for sparse-matrix dense-matrix multiplication (SpMM) on the GPU. Our algorithms expect the sparse input in the popular compressed-sparse-row (CSR) format and thus do not require expensive format conversion. While previous SpMM work concentrates on thread-level parallelism, we additionally focus on latency hiding with instruction-level parallelism and load-balancing. We show, both theoretically and experimentally, that the proposed SpMM is a better fit for the GPU than previous approaches. We identify a key memory access pattern that allows efficient access into both input and output matrices that is crucial to getting excellent performance on SpMM. By combining these two ingredients---(i) merge-based load-balancing and (ii) row-major coalesced memory access---we demonstrate a 4.1x peak speedup and a 31.7% geomean speedup over state-of-the-art SpMM implementations on real-world datasets.

연구 동기 및 목표

• CSR 형식에서의 형식 변환 없이도 GPU에서 희소 행렬-밀집 행렬 곱셈(SpMM)의 성능을 향상시키는 것.
• GPU 아키텍처에서 SpMM의 비정규적인 메모리 액세스와 로드 불균형 문제를 해결하는 것.
• 입력 및 출력 행렬에 대한 효율적인 연속 액세스를 가능하게 하는 핵심 메모리 액세스 패턴을 식별하고 활용하는 것.
• 행렬 특성에 따라 두 가지 SpMM 커널 변종 간의 동적 선택을 위한 히우리스틱을 개발하는 것.
• 희소도가 낮은 수준(9% 이하)일 때 SpMM이 밀집 행렬 곱셈(GEMM)을 능가할 수 있음을 보여주는 것.

제안 방법

• GPU 실행을 위해 행렬 분할과 병합 기반이라는 두 가지 주요 SpMV 알고리즘 클래스를 SpMM로 일반화한다.
• 스레드 블록을 밀집 행렬의 행과 맞추고 병합 경로를 사용해 워프 간 워크로드를 균형 잡는 병합 기반 커널을 설계한다.
• 최적의 선택에 비해 99.3% 정확도를 보이는 경량 히우리스틱을 구현하여 병합 기반 및 행 분할 커널 간의 선택을 수행한다.
• 희소 입력과 밀집 출력 행렬에 모두 행 주도의 연속 메모리 액세스를 보장함으로써 메모리 액세스를 최적화하고, 지연을 최소화하고 처리량을 극대화한다.
• 협동 스레드 어레이(CTAs)와 워프 수준의 기초 프리미티브를 사용하여 스레드 분열을 최소화하고 최적의 사용도를 달성한다.
• 로드 밸런싱 논리와 계산을 밀접하게 결합하여 추상화 오버헤드를 피하면서도 성능 유지를 한다.

실험 결과

연구 질문

• RQ1 GPU에서 SpMV에서의 병합 기반 로드 밸런싱이 SpMM로 효과적으로 확장될 수 있는가?
• RQ2 형식 변환 없이도 GPU에서 고성능 SpMM을 가능하게 하는 메모리 액세스 패턴은 무엇인가?
• RQ3 두 가지 SpMM 변종 간의 동적 커널 선택을 높은 정확도와 낮은 런타임 비용으로 어떻게 달성할 수 있는가?
• RQ4 희소도가 어느 정도일 때 SpMM이 GPU에서 GEMM을 능가하는가?
• RQ5 입력 형식을 변경하지 않고도 메이저 벤더 최적화된 CSR SpMM 구현체보다 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 병합 기반 SpMM 커널은 SuiteSparse 컬렉션의 157개 실제 세계 행렬에서 최상의 SpMM 구현체 대비 4.1배의 피크 성능 향상과 평균 31.7%의 성능 향상을 달성한다.
• 다양한 희소 행렬에서 cuSPARSE의 csrmm 및 csrmm2 기능을 모두 능가하며, 특히 장고-스킨니 행렬에서 일관된 성능 향상을 보인다.
• 커널 선택을 위한 히우리스틱은 최적의 선택에 비해 99.3%의 정확도를 보이며, 최소한의 오버헤드로 근사 최적의 성능을 달성한다.
• 희소 행렬의 비제로 요소 비율이 9% 이하일 경우 SpMM이 GEMM보다 빠르게 되며, 낮은 희소도에서도 효율성을 입증한다.
• 연속 메모리 액세스와 균형 잡힌 워크로드 분배를 통해 고성능 GPU 사용도를 유지하고 스레드 분열을 최소화한다.
• 성능 향상 요인은 명령어 수준의 병렬 처리와 연속적인 행 주도 메모리 액세스 패턴을 통한 효과적인 지연 숨기기 덕분이다.