[논문 리뷰] Adaptive Row-grouped CSR Format for Storing of Sparse Matrices on GPU

Martin Heller, Tomáš Oberhuber|arXiv (Cornell University)|2012. 03. 26.

Matrix Theory and Algorithms인용 수 6

한 줄 요약

이 논문은 GPU에서 희소 행렬을 저장하기 위한 적응형 행그룹화된 CSR 형식을 제안하며, 비제로 원소 분포에 기반해 행을 가변 크기의 청크로 동적으로 그룹화하여 행렬-벡터 곱셈(SpMV)을 최적화한다. 이 방법은 메모리 연속성과 로드 밸런싱을 향상시켜, rajat23 및 GHS_indef와 같은 특정 행렬에서 CUSPARSE 대비 최대 10배, CPU CSR 대비 5~8배의 성능 향상을 이룬다. 특히 회로 시뮬레이션 및 최적화 문제에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present new adaptive format for storing sparse matrices on GPU. We compare it with several other formats including CUSPARSE which is today probably the best choice for processing of sparse matrices on GPU in CUDA. Contrary to CUSPARSE which works with common CSR format, our new format requires conversion. However, multiplication of sparse-matrix and vector is significantly faster for many atrices. We demonstrate it on set of 1 600 matrices and we show for what types of matrices our format is profitable.

연구 동기 및 목표

• 희소 행렬의 비정규적 구조로 인한 GPU에서의 SpMV 성능 변동성을 해결한다.
• 행 길이가 극도로 다양한 행렬을 처리할 때 표준 CSR 및 ELLPACK 형식의 한계를 극복한다.
• 적응형 청크화를 통해 GPU 기반 SpMV에서 메모리 연속성과 로드 밸런싱을 향상시킨다.
• 행렬 특성에 따라 청크 크기를 동적으로 조정하여 GPU 활용도를 극대화하는 형식을 개발한다.
• 최신 형식인 CUSPARSE, Hybrid, 행그룹화된 CSR와 비교해 다양한 1,600개의 희소 행렬에서 뛰어난 성능을 입증한다.

제안 방법

• 비제로 원소 수에 기반해 희소 행렬의 행을 가변 크기의 청크로 나누며, 각 청크는 메모리에 연속적으로 저장된다.
• 비제로 값과 열 인덱스를 열 우선 순서로 저장하여 GPU에서 연속된 글로벌 메모리 액세스를 가능하게 한다.
• 각 청크에 하나의 GPU 스레드를 맵핑하여 워프 간 청크 병렬 처리를 가능하게 한다.
• 스레드 매핑 배열을 사용해 각 청크가 속한 행을 추적하여 행별로 부분 합을 청크 간 축소한다.
• 각 청크를 병렬로 처리하는 커널을 구현하며, 열 인덱스가 현재 행의 범위를 초과하면 조기 종료한다.
• 행렬의 규칙성에 따라 성능을 조정할 수 있는 구성 가능한 파라미터인 desiredChunkSize를 도입한다 — 비정규적 행렬에는 작은 값, 규칙적인 행렬에는 큰 값을 설정한다.

실험 결과

연구 질문

• RQ1 적응형 행그룹화된 CSR 형식은 표준 CSR 및 기타 GPU 최적화 형식에 비해 SpMV 성능을 어떻게 향상시키는가?
• RQ2 어떤 유형의 희소 행렬에서 적응형 행그룹화된 CSR 형식이 CUSPARSE, Hybrid, 행그룹화된 CSR 형식을 초월하는가?
• RQ3 desiredChunkSize 파라미터의 성능에 대한 영향은 무엇이며, 다양한 행렬 유형에 맞게 어떻게 조정해야 하는가?
• RQ4 기존 형식이 성능을 낮추는 회로 시뮬레이션 및 최적화 문제에서 새로운 형식이 상당한 속도 향상을 이룰 수 있는가?
• RQ5 ELLPACK 기반 방법에 비해 이 형식은 인위적 영점 오버헤드를 얼마나 줄이고, 메모리 연속성을 얼마나 향상시키는가?

주요 결과

• Schenk_AFE 행렬에서 desiredChunkSize = 32일 경우 최대 18 GFLOPS를 기록했으며, desiredChunkSize = 1일 경우 11 GFLOPS에 그친다.
• rajat23 행렬에서 desiredChunkSize = 1일 경우 신규 형식은 5.1 GFLOPS를 기록했으며, CPU CSR 대비 11배, GPU CSR 대비 6배 빠르다.
• 1,600개의 행렬 중 1,168개에서 CUSPARSE를 초월했으며, raj, rajat23, GHS_indef, IBM_EDA 등의 행렬에서 최대 10배의 속도 향상을 기록했다.
• 유한 차분 행렬인 norris/torso2 및 t2d_q에서는 행그룹화된 CSR 형식이 신규 형식보다 거의 두 배 빠르게 작동했다.
• 1,318개의 행렬에서 하이브리드 형식은, 1,358개의 행렬에서 CUSPARSE는 모두 신규 형식보다 느렸으며, 이는 신규 형식의 광범위한 우월성을 시사한다.
• 성능은 행렬에 따라 크게 달라졌으며, 일부 행렬은 소수에서 수백 개의 미지수를 가진 작은 행렬일 경우 CPU 성능이 두 계급 이상 뛰어나는 경우가 있었다.