[論文レビュー] ISM2: Optimizing Irregular-Shaped Matrix-Matrix Multiplication on GPUs

Cody Rivera, Jieyang Chen+3 more|arXiv (Cornell University)|Feb 9, 2020

Parallel Computing and Optimization Techniques参考文献 22被引用数 5

ひとこと要約

本論文では、不規則な形状のタールアンドスリム行列乗算のためのGPU最適化アルゴリズムTSM2RおよびTSM2Lを提案する。非一様な行列形状におけるデータアクセスおよびスレッドマッピングの再編成により、最大3.5倍の高速化と、最大55％の向上を達成したメモリ帯域幅および計算リソース利用率を実現した。

ABSTRACT

Linear algebra operations have been widely used in big data analytics and scientific computations. Many works have been done on optimizing linear algebra operations on GPUs with regular-shaped input. However, few works focus on fully utilizing GPU resources when the input is not regular-shaped. Current optimizations do not consider fully utilizing the memory bandwidth and computing power; therefore, they can only achieve sub-optimal performance. In this paper, we propose two efficient algorithms -- TSM2R and TSM2L -- for two classes of tall-and-skinny matrix-matrix multiplications on GPUs. Both of them focus on optimizing linear algebra operation with at least one of the input matrices is tall-and-skinny. Specifically, TSM2R is designed for a large regular-shaped matrix multiplying a tall-and-skinny matrix, while TSM2L is designed for a tall-and-skinny matrix multiplying a small regular-shaped matrix. We implement our proposed algorithms and test on several modern NVIDIA GPU micro-architectures. Experiments show that, compared to the current state-of-the-art works, (1) TSM2R speeds up the computation by 1.1x~3x and improves the memory bandwidth utilization and computing power utilization by 8%~47.6% and 7%~37.3%, respectively, when the regular-shaped matrix size is relatively large or medium; and (2) TSM2L speeds up the computation by 1.1x~3.5x and improve the memory bandwidth utilization by up to 55% when the regular-shaped matrix size is relatively small.

研究の動機と目的

• 不規則な形状の行列乗算、特にタールアンドスリム行列においてGPUのメモリ帯域幅と計算能力が十分に活用されていない問題に対処する。
• 2つの一般的なケースを最適化する：大規模な正方形形状行列 × タールアンドスリム行列（TSM2R）、タールアンドスリム行列 × 小さな正方形形状行列（TSM2L）。
• 非正規の入力に対してGPUの能力を十分に活用できない現行の最先端手法を超えるリソース利用効率を向上させる。
• 現代のNVIDIA GPUマイクロアーキテクチャにおいて、形状に応じたメモリアクセスおよびスレッドマッピング戦略を採用することで、より高いパフォーマンスと効率を実現する。

提案手法

• 大規模な正方形形状行列とタールアンドスリム行列の乗算を最適化するTSM2Rを設計し、メモリアクセスパターンを再編成することでコalescingの向上とバンク競合の低減を実現する。
• 小さな正方形形状行列とタールアンドスリム行列の乗算に特化したTSM2Lを実装し、余分なメモリトランザクションの低減と最大のオカペーシティの確保を重視する。
• タールアンドスリム行列の不規則な形状特性に合わせたカスタムスレッドブロックマッピングおよび共有メモリタイリング戦略を採用する。
• GPUワープ間のワークロードを均衡化するため、行列の次元とGPUアーキテクチャに応じて動的にスレッドブロックの次元を調整する。
• コalescedおよびストライドアクセスパターンを活用することで、メモリ帯域幅の利用効率を向上させるメモリアクセスパターンを最適化する。
• 複数のNVIDIA GPUマイクロアーキテクチャにわたり、アルゴリズムの評価とチューニングを実施し、移植性とパフォーマンスの移植性を確保する。

実験結果

リサーチクエスチョン

• RQ1 不規則な形状の行列乗算、特にタールアンドスリム行列において、GPUのメモリ帯域幅と計算リソースの利用を最大限に高めることは可能か？
• RQ2 非正規の行列形状を処理する際、既存のGPU最適化カーネルにどのようなパフォーマンスボトルネックが存在するか？
• RQ3 カスタムメモリアクセスおよびスレッドマッピング戦略は、現代のGPUにおけるタールアンドスリム行列乗算のパフォーマンスを顕著に向上させることができるか？
• RQ4 提案されたアルゴリズムTSM2RおよびTSM2Lは、最先端手法と比較して、スループットおよびリソース利用効率の面でどの程度優れているか？

主な発見

• TSM2Rは、正方形形状行列が大規模または中規模の場合、最先端手法比で1.1倍から3倍の高速化を達成し、最大47.6％のメモリ帯域幅利用効率の向上を実現した。
• TSM2Rは、テストされたGPUアーキテクチャ全体で7％から37.3％の計算リソース利用効率の向上を達成した。
• TSM2Lは、小さな正方形形状行列において1.1倍から3.5倍の高速化を達成し、最大55％のメモリ帯域幅利用効率の向上を実現した。
• 提案されたアルゴリズムは、不規則な形状の行列においてGPUのメモリ階層とスレッドレベル並列性をより効果的に活用することで、既存手法を著しく上回った。
• 性能向上は、複数の現代的なNVIDIA GPUマイクロアーキテクチャにわたり一貫しており、最適化戦略の堅牢性を示している。
• 形状に応じた最適化が、GPU上で不規則な行列演算の高性能を達成する上で極めて重要であることが確認された。