[논문 리뷰] A Highly Efficient Implementation of Multiple Precision Sparse Matrix-Vector Multiplication and Its Application to Product-type Krylov Subspace Methods

Tomonori Kouya|arXiv (Cornell University)|2014. 11. 10.

Numerical Methods and Algorithms참고 문헌 2인용 수 3

한 줄 요약

이 논문은 MPFR/GMP를 사용하여 BNCpack 라이브러리 내에서 다중 정밀도 희소 행렬-벡터 곱셈(SpMV)을 매우 최적화된 방식으로 구현하여 메모리 사용량과 계산 시간을 크게 감소시켰다. 이 방법을 통해 BiCG 및 GPBiCG와 같은 제품형 켈리보우 하위공간 방법을 이용해 대규모이고 불안정한 선형 연립방정식을 효율적으로 해결할 수 있었으며, 특히 cavity04 행렬에서 8192비트 정밀도에서 최대 67.48초의 계산 시간 단축을 입증하였다.

ABSTRACT

We evaluate the performance of the Krylov subspace method by using highly efficient multiple precision sparse matrix-vector multiplication (SpMV). BNCpack is our multiple precision numerical computation library based on MPFR/GMP, which is one of the most efficient arbitrary precision floating-point arithmetic libraries. However, it does not include functions that can manipulate multiple precision sparse matrices. Therefore, by using benchmark tests, we show that SpMV implemented in these functions can be more efficient. Finally, we also show that product-type Krylov subspace methods such as BiCG and GPBiCG in which we have embedded SpMV, can efficiently solve large-scale linear systems of equations provided in the UF sparse matrix collections in a memory-restricted computing environment.

연구 동기 및 목표

• 고정밀 과학 계산을 위한 효율적인 다중 정밀도 희소 행렬 라이브러리의 부족을 해결한다.
• 표준 이중 정밀도 산술을 사용할 경우 대규모이고 불안정한 선형 연립방정식을 해결하는 데 발생하는 메모리 및 성능 저하 문제를 극복한다.
• 메모리 제약 환경에서 희소 행렬을 대상으로 한 고성능 다중 정밀도 SpMV 커널을 개발하고 벤치마킹한다.
• SpMV를 제품형 켈리보우 하위공간 솔버(BiCG, GPBiCG 등)에 통합하여 고정밀 문제의 수렴성과 효율성을 향상시킨다.
• 실제 UF Sparse Matrix Collection의 희소 행렬을 활용하여 일반 하드웨어에서 다중 정밀도 계산의 실용성을 입증한다.

제안 방법

• MPFR/GMP의 임의 정밀도 부동소수점 산술을 사용하여 압축 희소 행렬 형식(CSR) 기반의 다중 정밀도 희소 행렬 구조를 구현하였다.
• MPFR/GMP가 제공하는 최적화된 0 곱셈 및 정밀도 유연한 산술을 활용하여 SpMV 연산을 가속화하였다.
• 정밀도, 차원, 비제로 원소, 그리고 열/행 인덱스 배열을 저장하는 사용자 정의 희소 행렬 데이터 유형(`mpfrsmatrix`)을 설계하였다.
• 표준 PC에서 SpMV를 조밀 행렬-벡터 곱셈(Dense MV)과 비교하여 성능 향상을 정량화하였다.
• BNCpack의 제품형 켈리보우 하위공간 솔버(BiCG, GPBiCG, BiCGSTAB)에 SpMV 커널을 통합하였으며, ILU(0) 정규화를 적용한 경우와 적용하지 않은 경우를 모두 고려하였다.
• UF Sparse Matrix Collection의 행렬들(e.g., cavity04, epb3)을 사용하여 다양한 정밀도 수준(512~8192비트)에서 확장성과 수렴성을 평가하였다.

실험 결과

연구 질문

• RQ1 다중 정밀도 SpMV는 계산 효율성과 메모리 사용 측면에서 조밀 행렬-벡터 곱셈과 비교해 어떻게 다른가?
• RQ2 다중 정밀도 SpMV는 메모리 제약 환경에서 제품형 켈리보우 하위공간 방법의 성능을 크게 향상시킬 수 있는가?
• RQ3 cavity04 및 epb3와 같은 불안정 문제에서 수렴하기 위해 필요한 정밀도 수준는 무엇이며, SpMV는 반복 횟수와 실행 시간에 어떤 영향을 미치는가?
• RQ4 정규화(예: ILU(0))는 다중 정밀도 켈리보우 방법의 수렴성을 향상시키는가? 그리고 고정밀도 직접 계산과 비교해 계산 효율성이 높은가?
• RQ5 일반 PC는 제안된 SpMV 구현을 통해 대규모 다중 정밀도 희소 선형 연립방정식을 어느 정도 처리할 수 있는가?

주요 결과

• 8192비트 정밀도에서 cavity04 행렬에 대해 GPBiCG 방법을 사용할 경우 다중 정밀도 SpMV 구현으로 최대 67.48초의 계산 시간 단축을 달성하였다.
• epb3 행렬(84,617×84,617, 99.0035% 희소성)의 경우 SpMV 기반 GPBiCG 방법은 8192비트 정밀도에서 수렴을 달성하였으며, 이는 조밀 행렬 저장 방식이 약 70TB의 메모리가 필요할 정도로 매우 높은 메모리 요구량을 가짐을 시사한다.
• cavity04 문제는 제품형 켈리보우 방법에서 수렴하기 위해 최소 2048비트 정밀도가 필요하였으며, BiCGSTAB 및 GPBiCG는 더 높은 정밀도에서 성능 향상을 보였다.
• SpMV 커널은 메모리 프로파일 감소와 MPFR/GMP 내 최적화된 0 곱셈 덕분에 조밀 MV 대비 뚜렷한 성능 향상을 보였다. 특히 고정밀도 수준에서 두드러졌다.
• ILU(0) 정규화는 다중 정밀도 환경에서 효율성을 향상시키지 못했으며, 조건부가 아닌 4096비트 BiCGSTAB 방법이 조건부 버전(109.29초)보다 빠른 42.79초를 기록하였다.
• 희소 행렬 형식은 epb3 행렬의 경우 조밀 행렬(128비트 기준 약 320GB)에서 희소 행렬(128비트 기준 약 3.5MB)로 메모리 사용량을 크게 감소시켜 일반 PC에서의 계산 가능성을 확보하였다.