[논문 리뷰] New Row-grouped CSR format for storing the sparse matrices on GPU with implementation in CUDA

Tomáš Oberhuber, Atsushi Suzuki외 1명|arXiv (Cornell University)|2010. 12. 10.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 36

한 줄 요약

이 논문은 GPU에서 희소 행렬을 저장하기 위한 새로운 Row-grouped CSR(RgCSR) 형식을 제안한다. 이 형식은 행 그룹화와 지능적인 순서 정렬을 통해 공유 메모리 접근 최적화 및 인위적 패딩 감소를 목적으로 한다. 1,600개의 행렬을 대상으로 평가한 결과, RgCSR는 일반적으로 Hybrid 형식을 능가하며, 특히 비어 있는 요소의 패턴이 규칙적인 행렬에서 뛰어난 성능을 보였지만, 매우 비정규적인 행렬에서는 과도한 인위적 비제로 요소로 인해 성능이 급격히 떨어지는 것으로 나타났다. 이는 캐시 활용도를 향상시키기 위해 효과적인 행 재정렬 전략이 필요하다는 점을 시사한다.

ABSTRACT

In this article we present a new format for storing sparse matrices. The format is designed to perform well mainly on the GPU devices. We present its implementation in CUDA. The performance has been tested on 1,600 different types of matrices and we compare our format with the Hybrid format. We give detailed comparison of both formats and show their strong and weak parts.

연구 동기 및 목표

• GPU 장치에서 메모리 공유 최적화 및 인위적 패딩 감소를 위한 희소 행렬 형식 설계.
• 낮은 산술 집약도와 메모리 대역폭 제한으로 인한 SpMV (희소 행렬-벡터 곱셈) 성능 저하 문제 해결.
• 실세계 희소 행렬 1,600개로 구성된 다양한 셋에서 신규 RgCSR 형식과 기존 Hybrid 형식 간의 성능 평가 및 비교.
• RgCSR에서 행 재정렬(내림차순 및 AMD 순서)이 인위적 비제로 요소 수와 텍스처 캐시 활용도에 미치는 영향 조사.
• 단일 정밀도 및 이중 정밀도 계산 환경에서 RgCSR와 Hybrid 형식 간의 강점과 약점을 비교 분석.

제안 방법

• RgCSR 형식은 희소 행렬의 행을 연속된 블록으로 그룹화하여 GPU 멀티프로세서에서 공유 메모리 접근을 가능하게 한다.
• 각 그룹은 32바이트 경계에 맞추기 위해 인위적 0으로 패딩되며, 워프 내 메모리 공유 최적화를 향상시킨다.
• 행 오프셋, 열 인덱스, 값은 별도의 연속 배열에 저장되며, 그룹 수준의 메타데이터를 통해 효율적인 인덱싱을 지원한다.
• SpMV 커널은 CUDA로 구현되며, 각 행 그룹당 하나의 스레드를 생성하고, 각 스레드는 소속 그룹 내 모든 비제로 요소를 처리한다.
• 인위적 비제로 요소 수를 최소화하고 텍스처 캐시 재사용을 향상시키기 위해 내림차순 비제로 수 순서 및 AMD(근사 최소 차수) 순서 정렬 기법을 적용한다.
• CUDA 프ofile를 사용하여 1,600개의 표준 벤치마크에서 추출된 행렬에 대해 캐시 히트/미스 비율, 인위적 비제로 수, GFLOPS를 측정해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GPU에서 다양한 희소 행렬에 대해 RgCSR 형식이 Hybrid 형식 대비 SpMV 성능에서 어떻게 다른가?
• RQ2 행 재정렬(내림차순 및 AMD 순서)이 RgCSR에서 인위적 비제로 요소 수 감소 및 텍스처 캐시 활용도 향상에 어느 정도 기여하는가?
• RQ3 RgCSR는 공유 메모리 접근 최적화를 위해 설계되었음에도 불구하고, 비정규적인 행의 비제로 패턴을 가진 행렬에서 성능이 떨어지는 이유는 무엇인가?
• RQ4 행의 비제로 수에 큰 변동이 있는 행렬에서 RgCSR의 메모리 공유 최적화 이점과 인위적 비제로 요소 오버헤드 사이의 상호 상충 관계는 어떠한가?
• RQ5 지능적인 행 재정렬을 통해 RgCSR의 성능을 크게 향상시킬 수 있으며, 만약 그렇다면 어떤 재정렬 전략이 패딩 감소와 캐시 사용 향상 사이에서 가장 균형 잡힌 성능을 낼 수 있는가?

주요 결과

• 1,600개의 행렬에 대해 RgCSR는 전체적으로 Hybrid 형식을 능가하며, Hohn/fd18 및 AMD/G2_circuit와 같이 비제로 패턴이 규칙적인 행렬에서 높은 GFLOPS 성능을 기록했다.
• Hohn/fd18 행렬에서 RgCSR는 내림차순 순서 정렬을 통해 4.845 GFLOPS를 달성했으며(인위적 비제로 요소 0.34%), 순서 정렬 없이 사용할 경우 4.690 GFLOPS였다.
• AMD/G2_circuit 행렬에서 RgCSR는 내림차순 순서 정렬로 9.210 GFLOPS를 기록했으며, 일부 경우에서 Hybrid 형식의 9.364 GFLOPS를 초월했다.
• IBM_EDA/trans4 및 Rajat/Raj1과 같은 비정규적 행렬에서는 RgCSR 성능이 급격히 떨어졌으며, 각각 0.0189 GFLOPS 및 0.0578 GFLOPS를 기록했다. 이는 순서 정렬 없이 사용했을 경우 최대 2,118.1%의 인위적 비제로 요소로 인한 결과였다.
• AMD 순서 정렬은 텍스처 캐시 히트 수를 향상시켰다(예: AMD/G2_circuit에서 3,448 히트 대 11,951 미스), 그러나 내림차순 순서보다 인위적 비제로 요소 수가 증가하여 캐시 효율성과 메모리 영역 사이의 상충 관계를 보였다.
• 이 연구는 캐시 미스 비율이 주요 성능 저하 요인은 아니며, 오히려 나쁜 행 그룹화로 인한 과도한 인위적 비제로 요소가 비정규적 행렬에서 성능 저하의 주요 원인임을 확인했다.