[논문 리뷰] A survey of sparse matrix-vector multiplication performance on large matrices

Max R. Grossman, Christopher Thiele외 4명|arXiv (Cornell University)|2016. 08. 01.

Distributed and Parallel Computing Systems참고 문헌 6인용 수 21

한 줄 요약

이 논문은 인텔 MKL, 트릴로스, CUSPARSE, CUSP를 사용하여 CPU 및 GPU에서 대규모 산업용 희소 행렬에 대한 희소 행렬-벡터 곱(SpMV) 성능을 평가한다. GPU 기반 SpMV 프레임워크인 CUSPARSE는 커널 전용 실행에서 최대 10.8배의 성능 향상을 기록하지만, 데이터 전송 오버헤드로 인해 종단 간 성능은 저해되며, 실제로는 CPU 기반의 Trilinos와 MKL가 더 경쟁력이 있다. 특히 더 큰 행렬에서는 Trilinos가 MKL 성능을 따라하거나 초월한다.

ABSTRACT

We contribute a third-party survey of sparse matrix-vector (SpMV) product performance on industrial-strength, large matrices using: (1) The SpMV implementations in Intel MKL, the Trilinos project (Tpetra subpackage), the CUSPARSE library, and the CUSP library, each running on modern architectures. (2) NVIDIA GPUs and Intel multi-core CPUs (supported by each software package). (3) The CSR, BSR, COO, HYB, and ELL matrix formats (supported by each software package).

연구 동기 및 목표

• 카인-힐리아르 방정식 이산화에서 유도된 대규모 실세계 희소 행렬에 대한 SpMV 성능 평가.
• CPU 및 GPU 플랫폼에서 주요 소프트웨어 라이브러리인 인텔 MKL, Trilinos, CUSPARSE, CUSP의 효율성 비교.
• 각 소프트웨어 스택과 하드웨어 플랫폼에 최적화된 행렬 저장 형식(CSR, BSR, COO, HYB, ELL) 식별.
• 특히 GPU 기반 구현에서 데이터 이동의 영향을 종단 간 SpMV 성능에 미치는 영향 평가.
• 대규모 및 분산 환경에서의 향후 최적화를 위해 가장 유망한 소프트웨어 스택(Trilinos 및 CUSPARSE)을 특정하여 안내.

제안 방법

• 6개의 대규모 밴드-구조 희소 행렬을 사용하며, 행 수는 611K에서 9950만 개로, 비제로 밀도는 0.00001%에서 0.00172% 사이이다.
• SpMV 성능은 인텔 MKL(CPU), Trilinos(Tpetra, CPU), CUSPARSE(GPU), CUSP(GPU)의 4개 소프트웨어 라이브러리에서 평가되며, 각각 지원하는 저장 형식을 사용한다.
• 각 행렬과 소프트웨어 스택에 대해 여러 행렬 형식과 스레드 수를 테스트하고, 가장 빠른 중앙값 성능을 최적 성능으로 선정한다.
• 알고리즘 성능를 데이터 전송 비용과 분리하기 위해 커널 전용 실행 시간을 측정하며, 종단 간 속도 향상은 GPU 메모리 전송 오버헤드를 포함한다.
• 인텔 X5660 CPU(12코어, 48GB RAM)와 NVIDIA M2070 GPU(2.5GB GDDR5)를 장착한 시스템에서 표준 설정을 사용해 평가를 수행한다.
• 각 라이브러리와 행렬에 대해 CSR, BSR(블로킹 요소 ≤32), COO, HYB(ELL 폭 10–15), ELL을 테스트하여 최적 형식을 선정한다.

실험 결과

연구 질문

• RQ1 CPU 및 GPU 플랫폼에서 대규모 희소 행렬에 대해 MKL, Trilinos, CUSPARSE, CUSP 중 어느 소프트웨어 라이브러리가 가장 높은 종단 간 SpMV 성능을 제공하는가?
• RQ2 CSR, BSR, COO, HYB, ELL 등의 다양한 희소 행렬 저장 형식이 평가된 라이브러리 및 하드웨어 플랫폼에서 SpMV 성능에 어떤 영향을 미치는가?
• RQ3 CPU와 GPU 간 데이터 전송 비용이 GPU 기반 SpMV 실행의 성능 이점을 얼마나 상쇄하는가?
• RQ4 최적화된 CPU 스레딩을 사용할 경우, Trilinos가 큰 희소 행렬에서 인텔 MKL의 성능을 따라하거나 초월할 수 있는가?
• RQ5 메모리 전송 오버헤드를 제외한 커널 실행만을 고려할 때, CUSPARSE와 CUSP의 상대적 성능은 어떠한가?

주요 결과

• 모든 라이브러리와 행렬에서 최적의 행렬 형식은 CSR였으며, 이는 낮은 비제로 밀도로 인해 메모리 코alescing 이점이 감소하여 이전 연구에서 GPU에 대해 ELL 또는 HYB를 선호한 것과는 다름.
• CUSPARSE는 커널 전용 실행에서 단일 스레드 MKL 대비 최대 10.81배의 성능 향상을 기록했고, CUSP는 최대 4.11배의 성능 향상을 기록했다.
• 데이터 전송 비용을 포함한 종단 간 성능에서는 CUSPARSE와 CUSP 모두 단일 스레드 MKL 대비 속도 향상이 1.0배 이하로 나타나, GPU 성능 이점이 통신 오버헤드로 상쇄됨을 시사한다.
• 더 큰 행렬에서는 Trilinos가 MKL 성능을 따라하거나 초월했으며, 가장 큰 행렬(F)에서 2개 스레드로 최대 4.75배의 성능 향상을 기록했으며, 이는 객체 지향 인터페이스가 성능에 영향을 주지 않음을 시사한다.
• 가장 빠른 CPU 구현(8스레드 MKL)은 단일 스레드 MKL 대비 최대 3.87배의 성능 향상을 기록했고, Trilinos는 행렬 E와 F에서 MKL를 초월했다.
• CUSP는 가장 큰 행렬(E와 F)을 처리할 수 없었으며, 이는 API의 외부 메모리 제약으로 인한 핵심 제약을 드러낸다.