[論文レビュー] Hierarchical Matrix Operations on GPUs: Matrix-Vector Multiplication and Compression

Wajih Boukaram, George Turkiyyah+1 more|arXiv (Cornell University)|Feb 5, 2019

Parallel Computing and Optimization Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、フラットな木構造表現とバッチ処理線形代数を活用して、$Θ^2$-行列の階層的行列-ベクトル乗算（HMV）および行列圧縮の高性能GPU実装を提示する。これにより、近似的に最適な$ olimits\mathcal{O}(n)$の計算量が達成される。P100 GPU上で、550 GB/sを超える帯域幅と850 GFLOPS/sを超える持続性能を実現し、空間統計や科学技術計算における大規模な密行列演算を効率的に行える。

ABSTRACT

Hierarchical matrices are space and time efficient representations of dense matrices that exploit the low rank structure of matrix blocks at different levels of granularity. The hierarchically low rank block partitioning produces representations that can be stored and operated on in near-linear complexity instead of the usual polynomial complexity of dense matrices. In this paper, we present high performance implementations of matrix vector multiplication and compression operations for the $\mathcal{H}^2$ variant of hierarchical matrices on GPUs. This variant exploits, in addition to the hierarchical block partitioning, hierarchical bases for the block representations and results in a scheme that requires only $O(n)$ storage and $O(n)$ complexity for the mat-vec and compression kernels. These two operations are at the core of algebraic operations for hierarchical matrices, the mat-vec being a ubiquitous operation in numerical algorithms while compression/recompression represents a key building block for other algebraic operations, which require periodic recompression during execution. The difficulties in developing efficient GPU algorithms come primarily from the irregular tree data structures that underlie the hierarchical representations, and the key to performance is to recast the computations on flattened trees in ways that allow batched linear algebra operations to be performed. This requires marshaling the irregularly laid out data in a way that allows them to be used by the batched routines. Marshaling operations only involve pointer arithmetic with no data movement and as a result have minimal overhead. Our numerical results on covariance matrices from 2D and 3D problems from spatial statistics show the high efficiency our routines achieve---over 550GB/s for the bandwidth-limited mat-vec and over 850GFLOPS/s in sustained performance for the compression on the P100 Pascal GPU.

研究の動機と目的

• 階層的$Θ^2$-行列演算の核心的処理、特に行列-ベクトル乗算と圧縮のための高性能GPUアルゴリズムが不足している問題に対処する。
• GPUアーキテクチャ上で不規則な木構造データを有する階層的行列が引き起こす性能課題を克服する。
• 空間統計や偏微分方程式（PDEs）に共通する大規模な密行列を、限られたグローバルメモリを備えたGPU上で効率的かつメモリ最適化で計算可能にする。
• 不規則な階層的データに対して効率的なバッチ処理を可能にするフラットな木構造表現を開発する。
• HMVおよび圧縮の両方で、理論的効率性と一致する近似的に線形の計算量（$\mathcal{O}(n)$）を達成する。

提案手法

• 階層的$Θ^2$-行列の木構造を連続的な配列にフラット化し、線形代数カーネルのバッチ実行を可能にする。
• 不規則に配置されたデータを連続的なバッチにマーシャリングするためにポ인터演算を用い、オーバーヘッドを最小限に抑える。
• フラット化された低ランクブロックおよび階層的基底構造を用いて、バッチ処理GEMV演算による行列-ベクトル乗算を実装する。
• 結合行列および基底ノードに対してバッチ処理QRおよびSVD操作を実行し、精度を維持するために切り捨てを適用して行列圧縮を実現する。
• 直交化および射影フェーズにはCUBLASのバッチ処理GEMMルーチンを活用し、計算量とメモリ帯域幅の両方を最適化する。
• 木の走査ロジックと線形代数計算を分離することで、データレイアウトとアルゴリズムカーネルを明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 階層的行列の本質的に再帰的で不規則な木構造的データ構造を有するにもかかわらず、GPUアーキテクチャに効率的にマッピング可能か？
• RQ2 計算量とメモリ使用量が$\mathcal{O}(n)$である$\mathcal{H}^2$-行列の理論的効率性を、アルゴリズムの再構築によってGPUハードウェアで完全に活用できるか？
• RQ3 階層的木構造をフラット化し、GPU上でバッチ処理線形代数を適用することで、HMVおよび圧縮の性能向上はどの程度達成できるか？
• RQ4 メモリ制限のHMVと計算制限の圧縮処理が、現代のGPU上で高い帯域幅と持続的なFLOPレートを達成できるか、その程度は？
• RQ5 代数的圧縮は、大規模な共分散行列のメモリ使用量を大幅に削減し、その後のHMV性能を向上させるのにどの程度効果的か？

主な発見

• 行列-ベクトル乗算（HMV）は、P100 GPU上で550 GB/sを超える帯域幅を達成し、大規模な3次元空間統計問題におけるSTREAM帯域幅ベンチマークを上回った。
• 行列圧縮処理は、P100 GPU上で850 GFLOPS/sを超える持続性能を示し、直交化フェーズでは2,000 GFLOPS/sを超える性能を達成した。
• 圧縮の基底生成および切り捨てフェーズは、600 GFLOPS/sを超える速度で動作し、GPU上で高い計算効率を示した。
• 100万×100万の共分散行列に対して、HMVは29 ms未満で完了し、P100の理論的ピークメモリ帯域幅の78％を達成した。
• 100万×100万の行列を初期の解析的表現から最適な代数的形に圧縮する処理は、P100 GPU上で1.7秒未満で完了した。
• 特に低ランク部分において顕著なメモリ節約が達成され、これによりその後のHMV実行時間に顕著な改善が見られた。