[論文レビュー] Accelerating BLAS on Custom Architecture through Algorithm-Architecture Co-design
本稿では、粗粒度再構成可能アーキテクチャ（REDEFINE CGRA）上で、レベル1、2、3のBLAS演算を最適化したカスタムプロセッシングエレメント（PE）を用いた、アルゴリズム・アーキテクチャ共同最適化アプローチを提示する。PEは、二重精度GEMMで理論ピーク性能の74％、GEMVで40％、内積で20％を達成し、Intel、Nvidia GPU、FPGAプラットフォームと比較して3～140倍の高速化を実現するとともに、35.7 Gflops/wattの高いエネルギー効率を達成した。これは、アルゴリズム・アーキテクチャ共同最適化によるスケーラブルな性能向上を示している。
Basic Linear Algebra Subprograms (BLAS) play key role in high performance and scientific computing applications. Experimentally, yesteryear multicore and General Purpose Graphics Processing Units (GPGPUs) are capable of achieving up to 15 to 57% of the theoretical peak performance at 65W to 240W respectively for compute bound operations like Double/Single Precision General Matrix Multiplication (XGEMM). For bandwidth bound operations like Single/Double precision Matrix-vector Multiplication (XGEMV) the performance is merely 5 to 7% of the theoretical peak performance in multicores and GPGPUs respectively. Achieving performance in BLAS requires moving away from conventional wisdom and evolving towards customized accelerator tailored for BLAS through algorithm-architecture co-design. In this paper, we present acceleration of Level-1 (vector operations), Level-2 (matrix-vector operations), and Level-3 (matrix-matrix operations) BLAS through algorithm architecture co-design on a Coarse-grained Reconfigurable Architecture (CGRA). We choose REDEFINE CGRA as a platform for our experiments since REDEFINE can be adapted to support domain of interest through tailor-made Custom Function Units (CFUs). For efficient sequential realization of BLAS, we present design of a Processing Element (PE) and perform micro-architectural enhancements in the PE to achieve up-to 74% of the theoretical peak performance of PE in DGEMM, 40% in DGEMV and 20% in double precision inner product (DDOT). We attach this PE to REDEFINE CGRA as a CFU and show the scalability of our solution. Finally, we show performance improvement of 3-140x in PE over commercially available Intel micro-architectures, ClearSpeed CSX700, FPGA, and Nvidia GPGPUs.
研究の動機と目的
- マルチコアおよびGPGPUプラットフォームにおける伝統的なBLAS実装の性能飽和問題（理論ピーク性能の15～57％にとどまる）を解決すること。
- 計算・帯域幅制限のBLASカーネルにおいて、従来のアーキテクチャの計算リソースおよびメモリリソースの利用効率の低さを克服すること。
- マイクロアーキテクチャ的強化を施したドメイン特化型でエネルギー効率の高いプロセッシングエレメント（PE）を設計し、BLAS演算に特化すること。
- 最適化されたPEをREDEFINE CGRAにカスタムファンクションユニット（CFU）として統合し、行列サイズに応じたスケーラビリティと性能を評価すること。
提案手法
- レベル1、2、3のBLASルーチンを効率的に実行できるように、マイクロアーキテクチャ的強化を施した専用プロセッシングエレメント（PE）を設計する。
- REDEFINE粗粒度再構成可能アーキテクチャ（CGRA）上にPEを実装し、特定の計算ドメインに最適化されたカスタムファンクションユニット（CFU）をカスタマイズできる能力を活用する。
- データフローをモデル化し、BLASカーネルにおける並列性を同定するために、有向非巡回グラフ（DAG）解析を用いる。これにより、PEへの効率的なマッピングが可能になる。
- 大きな行列をブロック（例：10×10 または 20×20）に分割し、タイリングアレイに配置された複数のPEに計算を分散させることで並列性を活用する。
- タイリングアルゴリズム的手法を採用し、計算と通信のバランスを最適化することで、データ移動のオーバーヘッドを最小限に抑える。
- CPIおよびGflops/wattの指標を用いて、Intel、AMD、Nvidia GPU、FPGA、ClearSpeed CSX700と比較するためのベンチマークを実施し、公平な比較を実現する。
実験結果
リサーチクエスチョン
- RQ1アルゴリズム・アーキテクチャ共同最適化は、従来のマルチコアおよびGPGPUプラットフォームで観察されるBLAS演算における性能飽和点を打ち破ることができるか？
- RQ2カスタムPEにおけるマイクロアーキテクチャ的強化は、DGEMM、DGEMV、DDOTなどのBLASカーネルにおいて、性能およびエネルギー効率をどの程度向上できるか？
- RQ3REDEFINE CGRA上でのPEベースのソリューションのスケーラビリティは、行列サイズおよびタイル数の増加に伴いどのように変化するか？
- RQ4一般用途および専用アクセラレータと比較して、BLASワークロードにおけるGflops/wattおよびスループットの向上はどの程度達成可能か？
- RQ5ドメイン特化型PEは、市販のプロセッサーやGPUを上回る性能を達成しつつ、エネルギー効率を維持できるか？
主な発見
- カスタムPEは、二重精度GEMM（DGEMM）で理論ピーク性能の74％、GEMVで40％、内積（DDOT）で20％を達成し、一般用途プロセッサーよりも顕著に優れた性能を発揮した。
- PEは35.7 Gflops/wattを達成し、Intel/AMDプロセッサ（0.02～0.25 Gflops/watt）およびNvidia GPUと比較して顕著な改善を示した。
- CPIおよびGflops/wattの指標に基づくベンチマークにおいて、Intelコアマイクロアーキテクチャでは3～140倍、Nvidia GPUでは7～139倍、Altera FPGAでは10倍、ClearSpeed CSX700では3倍の高速化が達成された。
- 2×2、3×3、4×4のタイルアレイを用いたREDEFINE CGRA上での並列実装により、単一PE実装と比較して、それぞれ最大4倍、9倍、16倍のスループット向上が達成された。ただし、大きな行列サイズではスループットの飽和が観察された。
- 行列サイズの増加に伴い、計算対通信比が向上（例：20×20では10:1、60×60では20:1）し、大規模な問題では通信オーバーヘッドが低減していることが示された。
- 使用するタイル数に比例して一貫したスループット向上が得られたことから、ソリューションのスケーラビリティが裏付けられ、共同最適化アプローチの有効性が確認された。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。