[논문 리뷰] Hierarchical Matrix Operations on GPUs: Matrix-Vector Multiplication and Compression

Wajih Boukaram, George Turkiyyah외 1명|arXiv (Cornell University)|2019. 02. 05.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 $Θ^2$-행렬에 대한 고성능 GPU 구현을 제시하며, 계층적 행렬-벡터 곱셈(HMV)과 행렬 압축을 위해 평탄화된 트리 표현 방식과 배치 처리 선형 대수 기법을 활용하여 근사 최적의 $\mathcal{O}(n)$ 복잡도를 달성한다. P100 GPU에서 초당 550 GB 이상의 대역폭과 850 GFLOPS/s의 지속 성능을 입증하여, 공간 통계 및 과학 계산 분야에서 대규모 밀도 행렬 연산을 효율적으로 수행할 수 있도록 한다.

ABSTRACT

Hierarchical matrices are space and time efficient representations of dense matrices that exploit the low rank structure of matrix blocks at different levels of granularity. The hierarchically low rank block partitioning produces representations that can be stored and operated on in near-linear complexity instead of the usual polynomial complexity of dense matrices. In this paper, we present high performance implementations of matrix vector multiplication and compression operations for the $\mathcal{H}^2$ variant of hierarchical matrices on GPUs. This variant exploits, in addition to the hierarchical block partitioning, hierarchical bases for the block representations and results in a scheme that requires only $O(n)$ storage and $O(n)$ complexity for the mat-vec and compression kernels. These two operations are at the core of algebraic operations for hierarchical matrices, the mat-vec being a ubiquitous operation in numerical algorithms while compression/recompression represents a key building block for other algebraic operations, which require periodic recompression during execution. The difficulties in developing efficient GPU algorithms come primarily from the irregular tree data structures that underlie the hierarchical representations, and the key to performance is to recast the computations on flattened trees in ways that allow batched linear algebra operations to be performed. This requires marshaling the irregularly laid out data in a way that allows them to be used by the batched routines. Marshaling operations only involve pointer arithmetic with no data movement and as a result have minimal overhead. Our numerical results on covariance matrices from 2D and 3D problems from spatial statistics show the high efficiency our routines achieve---over 550GB/s for the bandwidth-limited mat-vec and over 850GFLOPS/s in sustained performance for the compression on the P100 Pascal GPU.

연구 동기 및 목표

• 핵심 $Θ^2$-행렬 연산, 특히 행렬-벡터 곱셈과 압축에 대해 고성능 GPU 알고리즘이 부족한 문제를 해결한다.
• GPU 아키텍처에서 계층적 행렬의 비정규적 트리 데이터 구조로 인한 성능 도전 과제를 극복한다.
• 제한된 글로벌 메모리가 있는 GPU에서 공간 통계 및 PDE에서 흔히 나타나는 대규모 밀도 행렬의 효율적이고 메모리 최적화된 계산을 가능하게 한다.
• 비정규적 계층적 데이터에 대한 선형 대수 연산의 배치 처리를 가능하게 하는 평탄화된 트리 표현 방식을 개발한다.
• HMV와 압축 모두에 대해 근사 선형 복잡도($\mathcal{O}(n)$)를 달성하여, GPU 하드웨어에서 $Θ^2$-행렬의 이론적 효율성과 일치시킨다.

제안 방법

• 계층적 트리 구조를 연속적인 배열로 평탄화하여 선형 대수 커널의 배치 실행을 가능하게 한다.
• 포인터 연산을 사용하여 비정규적으로 놓인 데이터를 연속적인 배치로 변환하여 GPU 커널의 오버헤드를 최소화한다.
• 압축된 저랭크 블록과 계층적 기저 구조를 대상으로 배치 처리된 GEMV 연산을 사용하여 행렬-벡터 곱셈을 구현한다.
• 결합 행렬과 기저 노드에서 배치 처리된 QR 및 SVD 연산을 통해 행렬 압축을 수행하며, 정확도를 유지하기 위해 절단을 적용한다.
• 직교화 및 투영 단계에서 CUBLAS의 배치 처리된 GEMM 루틴을 활용하여 계산 및 메모리 대역폭 최적화를 이룬다.
• 트리 순회 로직과 선형 대수 계산을 분리하여 데이터 레이아웃과 알고리즘 커널을 명확히 분리한다.

실험 결과

연구 질문

• RQ1 계층적 행렬의 본질적으로 재귀적이며 비정규적인 트리 기반 데이터 구조로 인해 GPU 아키텍처에 효율적으로 매핑될 수 있는가?
• RQ2 계산 및 저장 복잡도 $\mathcal{O}(n)$를 GPU에서 최대한 활용하기 위해 알고리즘 재구성으로 $\mathcal{H}^2$-행렬의 이론적 효율성을 어떻게 실현할 수 있는가?
• RQ3 계층적 트리 표현 방식을 평탄화하고 GPU에서 배치 처리 선형 대수를 적용함으로써 HMV 및 압축 성능 향상은 어느 정도 달성될 수 있는가?
• RQ4 현대 GPU에서 메모리에 종속된 HMV와 계산에 종속된 압축 연산이 대역폭과 지속적인 FLOP 비율을 얼마나 높게 달성할 수 있는가?
• RQ5 대규모 공분산 행렬에 대해 대수적 압축 기법이 얼마나 효과적으로 메모리 사용량을 줄이고 이후의 HMV 성능 향상에 기여하는가?

주요 결과

• HMV 연산은 P100 GPU에서 초당 550 GB 이상의 대역폭을 기록하여, 대규모 3차원 공간 통계 문제에서의 STREAM 대역폭 벤치마크를 초월한다.
• 압축 연산은 P100 GPU에서 초당 850 GFLOPS 이상의 지속 성능을 기록하며, 특히 직교화 단계에서 2,000 GFLOPS 이상을 달성한다.
• 압축의 기저 생성 및 절단 단계는 초당 600 GFLOPS 이상으로 작동하여 GPU에서 높은 계산 효율성을 입증한다.
• 100만 × 100만 크기의 공분산 행렬에 대해 HMV는 29ms 이내에 완료되어 P100의 이론적 최대 메모리 대역폭의 78%를 달성한다.
• 100만 × 100만 행렬을 초기 분석적 표현에서 최적의 대수적 형태로 압축하는 데 P100 GPU에서 1.7초 이내가 소요된다.
• 압축으로 인한 메모리 절감 효과는 특히 저랭크 부분에서 두드러지며, 이는 이후 HMV 실행 시간에 측정 가능한 향상 효과를 초래한다.