[論文レビュー] Casper: Accelerating Stencil Computation using Near-cache Processing

Alain Denzler, Rahul Bera+5 more|arXiv (Cornell University)|Dec 28, 2021

Parallel Computing and Optimization Techniques被引用数 11

ひとこと要約

Casperは、最後段のキャッシュ（LLC）に近接して配置された特殊なステンシル処理ユニット（SPU）を備えた近LLCキャッシュアクセラレータを提案する。このSPUはデータをLLCで直接計算することで、重複するデータ移動を排除し、規則的なアクセスパターンを活用する。軽量なSPUをLLCに密接に結合することで、商用CPUと比較して平均1.65倍（最良で4.16倍）の性能向上と平均35％のエネルギー削減を達成した。また、最先端のGPUと比較して、面積当たり性能が平均37倍（最良で190倍）高い。

ABSTRACT

Stencil computation is one of the most used kernels in a wide variety of scientific applications, ranging from large-scale weather prediction to solving partial differential equations. Stencil computations are characterized by three unique properties: (1) low arithmetic intensity, (2) limited temporal data reuse, and (3) regular and predictable data access pattern. As a result, stencil computations are typically bandwidth-bound workloads, which only experience limited benefits from the deep cache hierarchy of modern CPUs. In this work, we propose Casper, a near-cache accelerator consisting of specialized stencil compute units connected to the last-level cache (LLC) of a traditional CPU. Casper is based on two key ideas: (1) avoiding the cost of moving rarely reused data through the cache hierarchy, and (2) exploiting the regularity of the data accesses and the inherent parallelism of the stencil computation to increase the overall performance. With minimal changes in LLC address decoding logic and data placement, Casper performs stencil computations at the peak bandwidth of the LLC. We show that, by tightly coupling lightweight stencil compute units near to LLC, Casper improves the performance of stencil kernels by 1.65x on average, while reducing the energy consumption by 35% compared to a commercial high-performance multi-core processor. Moreover, Casper provides a 37x improvement in performance-per-area compared to a state-of-the-art GPU.

研究の動機と目的

• ステンシル計算は演算強度が低く、データ再利用が限られるため、メモリ帯域幅のボトルネックに直面する。この問題を解決する。
• LLCに近接する処理により、一般用途プロセッサ上のステンシルカーネルの性能とエネルギー効率を向上させ、データ移動を削減する。
• メモリ階層の変更をほとんど必要とせず、既存のCPUアーキテクチャにスムーズに統合できる低コストでドメイン特化されたアクセラレータを設計する。
• データ移動を最小限に抑え、プログラミングを簡素化する軽量APIを用いることで、GPU や FPGA などの一般用途アクセラレータを凌駆する。

提案手法

• 最後段キャッシュ（LLC）に直結する特殊なステンシル処理ユニット（SPU）を統合し、データをその場で処理することで、CPUコアへのデータ移動を回避する。
• LLCのアドレスデコーディング論理とデータ配置を変更し、ステンシルデータをSPUにルーティングすることで、ピークLLC帯域幅で計算を実行可能にする。
• ステンシル計算の規則的で予測可能なアクセスパターンを活用し、メモリリクエストをコalescing（集約）することで、不要なキャッシュトラフィックを最小限に抑える。
• FPGAが要求する時間のかかるビットストリーム生成を避けるため、最小限のAPI関数を備えた軽量プログラミングインターフェースを採用する。
• 頻繁にアクセスされるステンシルデータをLLC内に保持し、局所的に処理することで、データの局所性を最適化し、外部メモリへのアクセスを削減する。
• LLCに接続された複数のSPUを活用して、ステンシル演算の内在的な並列性を活かし、高スルーレートを実現する。

実験結果

リサーチクエスチョン

• RQ1 最後段キャッシュ（LLC）に近接して配置された専用計算ユニットが、ステンシル計算におけるデータ移動を顕著に削減し、性能を向上させることができるか？
• RQ2 近LLC処理は、ステンシルカーネルの規則的なアクセスパターンをどの程度活用して帯域幅の利用効率を高められるか？
• RQ3 ステンシルワークロードにおいて、一般用途のCPUやGPUと比較して、近LLCアクセラレータの性能とエネルギー効率はどの程度優れているか？
• RQ4 主要なアーキテクチャ的変更なしに、低面積・低オーバーヘッドのアクセラレータをコンsumerプロセッサに統合できるか？
• RQ5 FPGA や GPU と比較して、近LLCアクセラレータのプログラミングモデルは開発時間と複雑さの点でどの程度優れているか？

主な発見

• Casperは、広く使われている6種類のステンシルカーネルにおいて、商用ハイパフォーマンスマルチコアCPUと比較して平均1.65倍（最良で4.16倍）の性能向上を達成した。
• システム全体のエネルギー消費は、CPUベースラインと比較して平均35％削減（最良で65％）された。
• Casperは、最先端のGPUと比較して、面積当たり性能で平均37倍（最良で190倍）の向上を達成した。
• Marvell ThunderX 2 CPUに16個のSPUを統合した場合の面積オーバーヘッドは1％未満であった。
• Casperは、キャッシュ階層全体を経由するデータ移動を排除することで、ピークLLC帯域幅で計算を実行できる。
• 提案されたプログラミングモデルは、FPGAベースの加速と比較してはるかに単純かつ高速であり、時間のかかるビットストリーム生成を回避した。