[論文レビュー] Mitigating the Bandwidth Wall via Data-Streaming System-Accelerator Co-Design

Qunyou Liu, Marina Zapater+1 more|arXiv (Cornell University)|Mar 19, 2026

Parallel Computing and Optimization Techniques被引用数 0

ひとこと要約

本論文は、ホストメモリからPCIe DMAでページアラインされた4 KBタイルをストリームする16×16のsystolic-arrayマトリクスアクセラレータMatrixFlowを提示し、Gem5-AcceSysと統合してトランスフォーマ推論のためのシステムとアクセラレータを共同設計する。大規模なオンチップSRAMやISA変更なしで、データ移動と計算・メモリ階層をバランスさせることで、エンドツーエンドのスピードアップを実現する。

ABSTRACT

Transformers have revolutionized AI in natural language processing and computer vision, but their large computation and memory demands pose major challenges for hardware acceleration. In practice, end-to-end throughput is often limited by paged data movement and interconnect bandwidth rather than raw MAC count. This work proposes a unified system-accelerator co-design approach for transformer inference that jointly optimizes a matrix accelerator and its system integration through paged streaming dataflows and explicit overlap of compute and transfer. On the hardware side, we introduce MatrixFlow, a loosely coupled 16x16 systolic-array accelerator with a page-aligned block matrix multiplication method using 4 KB tiles, a small on-chip buffer of about 20 KB, and a pipelined schedule of DMA, compute, and DMA-out to utilize interconnect bandwidth efficiently. On the system side, we develop Gem5-AcceSys, an extension of the gem5 full-system simulator that explores standard interconnects such as PCIe and configurable memory hierarchies including Direct Memory, Direct Cache, and Device Memory modes with SMMU/TLB effects. We evaluate the co-design using gem5 simulations on representative transformer models including BERT and ViT across multiple data types and system setups. Results show up to 22x end-to-end speedup over a CPU-only baseline and 5x to 8x gains over state-of-the-art loosely and tightly coupled accelerators. We further show that a standard PCIe-based host-memory design can achieve about 80 percent of the performance of on-device HBM. Overall, paged streaming and pipeline overlap, rather than large local SRAMs, are the most effective levers for efficient transformer inference under realistic system constraints.

研究の動機と目的

• 生の計算能力を超えたトランスフォーマ推論における帯域幅とデータ移動のボトルネックに対処する。
• データフローとシステムを意識したアクセラレータ設計を提案し、オンチップストレージを最小化しながらストリーミングスループットを最大化する。
• 軽量なPCIeベースのアクセラレータをフルシステムシミュレータと統合して、現実的な相互接続とメモリの影響を捉える。
• ソフトウェアランタイム、相互接続、メモリ階層を共同最適化してマトリクスエンジンの高利用率を維持する。

提案手法

• MatrixFlowを導入する、3つの4 KB SRAMバッファとA、B、Cの4 KBタイルをページアラインで持つ16×16 systolic-arrayアクセラレータ。
• SMMUを用いたVA/PA変換を備えたPCIe DMAを介してホストメモリから直接データをストリーミング。
• Gem5-AcceSysを開発してPCIeインターコネクト、DMAエンジン、SMMU、およびエンドツーエンド評価用のLinuxドライバをモデル化。
• 単一ページDMAバーストを可能にしTLBオーバーヘッドを低減するため、Aを行優先、Bを行-stripedとしたページブロック型データレイアウトを採用。
• DM、DC、およびDevMemモードを横断してデータ移動と局所性の影響を性能に与える影響を評価。
• Gem5シミュレーションでCPUベースラインと最先端の緩結合および密結合アクセラレータとを比較。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングされたページアラインデータ移動がマトリクスアクセラレータ上のトランスフォーマ推論スループットにどう影響するか。
• RQ2 最小のオンチップストレージを持つ緩結合アクセラレータは、最適化されたシステム設計と組み合わせた場合に高利用率を達成できるか。
• RQ3 DM、DC、DevMemのメモリアクセスモードがエンドツーエンドのトランスフォーマ workloadsの性能にどのようなトレードオフを生むか。
• RQ4 フルシステムの共設計は、CPUベースラインとBERTおよびViTモデル向けの特化アクセラレータ間のギャップをどの程度縮められるか。

主な発見

• CPUのみのベースラインに対してエンドツーエンド推論で最大22×のスピードアップ。
• MatrixFlowは、提供スループットで最先端の緩結合アクセラレータを>5×、密結合アクセラレータを>8×上回る。
• 標準のPCIeベースのホストメモリ設計は、デバイス上のHBMメモリの性能の約80%を達成。
• 実用的な制約下での効率的なトランスフォーマ推論において、ページ単位のストリーミングとパイプラインの重畳が最も効果的な調整機であり、大規模なローカルSRAMは不要。
• データフローと相互接続を共同最適化すれば、16×16 INT8/FP16/FP32テンソルエンジンは20 KBのオンチップSRAMで roofsライン性能に近づくことができる。