[논문 리뷰] A lightweight optimization selection method for Sparse Matrix-Vector Multiplication

Athena Elafrou, Georgios Goumas외 1명|arXiv (Cornell University)|2015. 11. 08.

Parallel Computing and Optimization Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 구조적 행렬 특성 또는 온라인 프로파일링을 사용하여 성능 저하 원인을 분류함으로써, 행렬에 특화된 최적화를 자동으로 선택하는 경량이며 아키텍처 인식 최적화 선택 방법을 제안한다. 이는 높은 런타임 오버헤드 없이 최적의 최적화를 정확하게 매칭함으로써, 아키텍처 중심 접근 방식에 비해 멀티코어 플랫폼에서 29% 향상된 성능을 달성한다.

ABSTRACT

In this paper, we propose an optimization selection methodology for the ubiquitous sparse matrix-vector multiplication (SpMV) kernel. We propose two models that attempt to identify the major performance bottleneck of the kernel for every instance of the problem and then select an appropriate optimization to tackle it. Our first model requires online profiling of the input matrix in order to detect its most prevailing performance issue, while our second model only uses comprehensive structural features of the sparse matrix. Our method delivers high performance stability for SpMV across different platforms and sparse matrices, due to its application and architecture awareness. Our experimental results demonstrate that a) our approach is able to distinguish and appropriately optimize special matrices in multicore platforms that fall out of the standard class of memory bandwidth bound matrices, and b) lead to a significant performance gain of 29% in a manycore platform compared to an architecture-centric optimization, as a result of the successful selection of the appropriate optimization for the great majority of the matrices. With a runtime overhead equivalent to a couple dozen SpMV operations, our approach is practical for use in iterative numerical solvers of real-life applications.

연구 동기 및 목표

• 다양한 아키텍처와 희소 행렬 간에 안정적이고 이식 가능하며 런타임 오버헤드가 낮은 SpMV 최적화 전략의 부족을 해결한다.
• 기존 최적화의 한계인 플랫폼에 종속되거나 높은 런타임 오버헤드를 유발하거나 일관된 성능 향상을 제공하지 못하는 문제를 해결한다.
• 주어진 행렬과 아키텍처에 가장 효과적인 최적화를 자동으로 선택하는 방법론을 개발하여 성능 안정성과 이식 가능성을 확보한다.
• 최적화 선택의 런타임 비용을 최소화하여 반복적 수치 해법에 실용적으로 적용할 수 있도록 한다.
• 실행 시간 예측을 직접 하기보다는 성능 저하 원인을 분류함으로써 최적화 선택을 특정 최적화와 분리한다.

제안 방법

• 각 클래스가 별개의 성능 저하 원인(예: 메모리 대역폭, 로드 불균형, 비정규 메모리 접근)을 나타내는 분류 문제로 SpMV 최적화 선택을 수립한다.
• 대상 아키텍처에서 행렬 접근 패턴과 메모리 동작을 측정함으로써 주요 성능 저하 원인을 탐지하는 마이크로 벤치마크를 사용하는 프로파일링 기반 분류기 구현.
• 희소 행렬의 구조적 특성(예: 행 길이 분포, 흩어진 패턴 등)을 기반으로 기계 학습(결정 트리 및 나이브 베이즈)을 사용해 사전에 학습한 특징 기반 분류기 개발.
• 프로파일링 기반 분류기를 사용해 특징 기반 분류기의 학습 데이터를 생성함으로써, 런타임 프로파일링 없이도 정확한 저하 원인 예측을 가능하게 한다.
• 식별된 각 저하 원인에 해당하는 최적화(예: 재정렬, 형식 선택, 블로킹)를 매핑함으로써, 해당 저하 원인을 대상으로 하는 모든 최적화와의 호환성을 확보한다.
• 특징 기반 분류기가 오직 수십 번의 SpMV 연산만으로도 런타임 오버헤드를 최소화함으로써 실생활 응용에 적합한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 주어진 행렬과 아키텍처에 대해 자동으로 가장 효과적인 SpMV 최적화를 선택할 수 있는 경량이며 다중 플랫폼 호환 방법론을 개발할 수 있는가?
• RQ2 실행 시간을 직접 예측하는 대신 성능 저하 원인을 분류함으로써, 다양한 행렬과 플랫폼 간에 더 안정적이고 이식 가능한 최적화 선택이 가능할까?
• RQ3 희소 행렬의 구조적 특성이 높은 정확도로 성능 저하 원인을 예측할 수 있을 정도로 얼마나 유용한가?
• RQ4 현대의 멀티코어 및 멀티코어 플랫폼에서 아키텍처 중심 최적화 전략에 비해 성능 향상과 오버헤드 측면에서 제안된 방법이 어떻게 비교되는가?
• RQ5 주요 저하 원인이 해결된 후 보조 저하 원인을 식별함으로써, 점진적 또는 다단계 최적화를 지원할 수 있는가?

주요 결과

• 제안된 방법은 아키텍처 중심 최적화에 비해 인텔 Xeon Phi 멀티코어 플랫폼에서 29%의 성능 향상을 달성하여, 지능적인 최적화 선택을 통한 뚜렷한 향상을 입증한다.
• 멀티코어 플랫폼에서는 표준 최적화 전략이 간과하는 메모리 대역폭에 제한되지 않는 특수 행렬을 성공적으로 식별하고 최적화한다.
• 특징 기반 분류기는 오직 수십 번의 SpMV 연산에 해당하는 런타임 오버헤드만을 유발하므로, 반복적 수치 해법에 통합하기에 실용적이다.
• 프로파일링 기반 분류기는 행렬 접근 특성을 측정함으로써 주요 성능 저하 원인을 효과적으로 탐지하여 정확한 최적화 매핑을 가능하게 한다.
• 프로파일링 기반 분류기의 데이터를 기반으로 학습된 기계 학습 기반 특징 분류기는 런타임 프로파일링 없이도 높은 정확도로 저하 원인을 예측한다.
• 저하 원인 분류를 특정 최적화와 분리함으로써, 새로운 최적화를 추가하더라도 전체 시스템을 재학습하거나 재설계하지 않고도 쉽게 확장할 수 있다.