[論文レビュー] Arrow: A RISC-V Vector Accelerator for Machine Learning Inference

Imad Al Assir, Mohamad El Iskandarani+2 more|arXiv (Cornell University)|Jul 15, 2021

Advanced Memory and Neural Computing参考文献 15被引用数 18

ひとこと要約

Arrowは、エッジ機械学習推論を対象とした設定可能なRISC-Vベクターアクceleratorであり、RISC-V v0.9ベクターアーキテクチャ仕様のサブセットを実装している。FPGAベースのベンチマークにおいて、スカラRISC-Vプロセッサと比較して2–78倍の高速化と20–99%のエネルギー削減を達成し、データ並列なMLワークロードにおいて優れた性能と効率性を示している。

ABSTRACT

In this paper we present Arrow, a configurable hardware accelerator architecture that implements a subset of the RISC-V v0.9 vector ISA extension aimed at edge machine learning inference. Our experimental results show that an Arrow co-processor can execute a suite of vector and matrix benchmarks fundamental to machine learning inference 2 - 78x faster than a scalar RISC processor while consuming 20% - 99% less energy when implemented in a Xilinx XC7A200T-1SBG484C FPGA.

研究の動機と目的

• エッジ機械学習推論における効率的でドメイン特化されたアクセラレータの需要増加に対応する。
• RISC-Vベクターアーキテクチャ仕様（v0.9）を活用し、データ並列ワークロード向けにカスタマイズ可能で高スルーレートな処理を実現する。
• リソース制限のあるエッジデバイスにおいて、高い性能と低いエネルギー消費量を実現するハードウェアアクセラレータを設計する。
• FPGAプロトタイピングを用いて代表的なML推論カーネルを対象に、アクセラレータの性能とエネルギー効率を評価する。
• 実用的で効率的なエッジAIアクセラレーションに向けたRISC-Vベクターエクステンションの実現可能性を示す。

提案手法

• RISC-V v0.9ベクターアーキテクチャ拡張に基づく設定可能なベクターアクセラレータを実装する。
• 複数のベクターレーンとバンクドベクターレジスタファイルを備えたパイプライン化されたデータパスを設計し、広いデータ並列処理をサポートする。
• ストライド付きメモリアクセスをサポートするベクターロード/ストアユニットを統合し、データ局所性を向上させ、ポ인터管理のオーバーヘッドを低減する。
• カスタムメモリインターフェースとオンチップブロックRAMを用い、効率的なデータ移動と低遅延アクセスを実現する。
• ベクターサイズと設定レジスタを実装し、実行時における柔軟性と動的ベクターサイズの適応を可能にする。
• 性能とエネルギー評価のため、Xilinx XC7A200T FPGAに設計をデプロイし、実際のML推論カーネルを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 機械学習推論ワークロードにおいて、RISC-VベクターアクセラレータはスカラRISC-Vプロセッサと比較して、性能とエネルギー効率でどの程度異なるか？
• RQ2 エッジAIアプリケーションにおけるデータ並列性の活用（ベクタライゼーション）によって、どの程度の性能向上とエネルギー削減が達成できるか？
• RQ3 異なるデータサイズプロファイルが、Arrowアクセラレータ上でのベクタライズドカーネルのスループットとエネルギー効率に与える影響は何か？
• RQ4 2次元畳み込みや行列マックスプーリングといった複雑なMLカーネルをベクタライズする際の主な性能ボトルネックは何か？
• RQ5 メモリバウンドおよびコンピュータバウンドなMLカーネルにおいて、ベクタライゼーションが実行時間とエネルギー消費量をどの程度削減できるか？

主な発見

• ベクターや行列ベンチマークにおいて、スカラRISC-Vプロセッサと比較してArrowは2–78倍の高速化を達成し、特に大規模データプロファイルで最大のスループット向上が観察された。
• 行列乗算では最大78倍の高速化が達成され、ベクタ加算および乗算ではデータサイズに応じて25–78倍の高速化が得られた。
• 2次元畳み込みでは、最適化されたベクタリダクションを採用しても、スカラポインタ演算のオーバーヘッドが高く、1.4–1.9倍の高速化にとどまった。
• エネルギー消費量は、ベクタベンチマークで96–99%、行列ベンチマークで80–99%、2次元畳み込みで20–43%削減され、主に実行時間の短縮によるものであった。
• ベクターサイズが大きくなるほど性能がスケーリングし、ベクターセットアップのオーバーヘッド（例：ベクターサイズの設定）が長時間のベクターサイズに対しては影響が小さくなる。
• 結果から、特に不規則なカーネル（2次元畳み込みや行列マックスプーリング）において、ストライド付きベクタ操作によるメモリアクセスパターンの最適化をさらに進めれば、性能向上が顕著に達成できることが示唆された。