[논문 리뷰] Analyzing and enhancing OSKI for sparse matrix-vector multiplication

Kadir Akbudak, Enver Kayaaslan외 1명|arXiv (Cornell University)|2012. 03. 13.

Parallel Computing and Optimization Techniques참고 문헌 5인용 수 13

한 줄 요약

이 논문은 OSKI 프레임워크 내에서 1차원 및 2차원 행렬 분할을 사용하여 캐시 크기 인식(row/column 재정렬) 기법을 제안한다. 스파스 행렬-벡터 곱셈(SpMv)을 위한 것으로, 컬럼넷 및 행-컬럼넷과 같은 개선된 하이퍼그래프 모델을 통해 시간적 국소성을 향상시켜 다양한 스파스 행렬에서 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

Sparse matrix-vector multiplication (SpMxV) is a kernel operation widely used in iterative linear solvers. The same sparse matrix is multiplied by a dense vector repeatedly in these solvers. Matrices with irregular sparsity patterns make it difficult to utilize cache locality effectively in SpMxV computations. In this work, we investigate single- and multiple-SpMxV frameworks for exploiting cache locality in SpMxV computations. For the single-SpMxV framework, we propose two cache-size-aware top-down row/column-reordering methods based on 1D and 2D sparse matrix partitioning by utilizing the column-net and enhancing the row-column-net hypergraph models of sparse matrices. The multiple-SpMxV framework depends on splitting a given matrix into a sum of multiple nonzero-disjoint matrices so that the SpMxV operation is performed as a sequence of multiple input- and output-dependent SpMxV operations. For an effective matrix splitting required in this framework, we propose a cache-size-aware top-down approach based on 2D sparse matrix partitioning by utilizing the row-column-net hypergraph model. The primary objective in all of the three methods is to maximize the exploitation of temporal locality. We evaluate the validity of our models and methods on a wide range of sparse matrices by performing actual runs through using OSKI. Experimental results show that proposed methods and models outperform state-of-the-art schemes.

연구 동기 및 목표

• 비정규적인 흐며개 패턴으로 인해 캐시 국소성이 열악한 스파스 행렬-벡터 곱셈(SpMv)의 문제를 해결한다.
• 현대 메모리 계층에서의 성능 향상을 위해 SpMv 계산의 시간적 국소성을 향상시킨다.
• 캐시 크기 제약 조건을 고려한 효율적인 행렬 재정렬 및 분할 전략을 개발한다.
• 실제 스파스 행렬을 사용하여 반복적 선형 해법기의 OSKI 라이브러리 성능을 평가하고 향상시킨다.
• 최적의 행렬 분할 및 재정렬을 이끌기 위해 새로운 하이퍼그래프 모델(컬럼넷 및 행-컬럼넷)을 제안한다.

제안 방법

• 시간적 국소성을 향상시키기 위해 컬럼넷 하이퍼그래프 모델 기반의 1차원 캐시 크기 인식 상향식 행/열 재정렬 방법을 도입한다.
• 더 나은 국소성을 확보하기 위해 행-컬럼넷 하이퍼그래프 모델을 사용한 2차원 캐시 크기 인식 상향식 재정렬 방법을 개발한다.
• 행렬을 비제로 요소가 분리된 구성요소로 분할하여 입력 및 출력에 따라 의존적인 SpMv 연산을 가능하게 하는 다중 SpMv 프레임워크를 제안한다.
• 2차원 분할 및 행-컬럼넷 하이퍼그래프 모델 기반의 캐시 크기 인식 상향식 행렬 분할 전략을 설계한다.
• 모든 방법을 OSKI 라이브러리에 통합하여 실제 세계의 스파스 행렬에서 성능을 평가한다.
• 캐시 크기 제약 조건을 기반으로 하이퍼그래프 분할을 사용하여 자료 이동을 최소화하고 재사용을 극대화한다.

실험 결과

연구 질문

• RQ1 단일 SpMv 연산에서 시간적 국소성을 극대화하기 위해 행 및 열 재정렬 전략을 어떻게 설계할 수 있는가?
• RQ2 2차원 행렬 분할 및 개선된 하이퍼그래프 모델은 SpMv에서 캐시 활용도를 얼마나 향상시킬 수 있는가?
• RQ3 비제로 요소가 분리된 구성요소로 행렬을 분할하면 다중 SpMv 연산에서 성능 향상이 가능한가?
• RQ4 재정렬 및 분할 과정에서 캐시 크기 인식이 다양한 스파스 행렬에서 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법들은 성능 및 확장성 측면에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 1차원 및 2차원 캐시 크기 인식 재정렬 방법은 단일 SpMv 연산에서 시간적 국소성을 크게 향상시킨다.
• 행-컬럼넷 하이퍼그래프 모델은 더 효과적인 2차원 분할을 가능하게 하여 기존 모델 대비 더 나은 캐시 활용도를 달성한다.
• 비제로 요소가 분리된 구성요소로 분할된 다중 SpMv 프레임워크는 자료 이동을 줄이고 대규모 스파스 행렬에서 성능을 향상시킨다.
• 모든 제안된 방법은 실행 시간 및 캐시 효율성 측면에서 기존 최신 기술 대비 뛰어난 성능을 보인다.
• 다양한 스파스 행렬에 대한 실험적 평가를 통해 다양한 행렬 유형과 크기에서 일관된 성능 향상이 확인되었다.
• OSKI에의 통합은 실용적 효과를 입증하였으며, 다양한 테스트 행렬에서의 실제 실행을 통한 성능 향상이 검증되었다.