[論文レビュー] Recurrent Neural Networks Hardware Implementation on FPGA

Andre Xian Ming Chang, Berin Martini+1 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Neural Network Applications参考文献 21被引用数 85

ひとこと要約

この論文では、Xilinx Zynq 7020 FPGA 上に、128 個の隠れユニットを備えた2層の長短期記憶（LSTM）ネットワークのハードウェア実装を提示している。これは、組み込みARMコアCortex-A9プロセッサよりも21倍以上の高速化を達成した。設計では、並列化された行列-ベクトル演算とAXI DMAを活用し、高帯域幅のデータストリーミングを実現しており、誤差伝搬が最小限に抑えられたリアルタイムの文字レベル言語モデル推論を実証した。

ABSTRACT

Recurrent Neural Networks (RNNs) have the ability to retain memory and learn data sequences. Due to the recurrent nature of RNNs, it is sometimes hard to parallelize all its computations on conventional hardware. CPUs do not currently offer large parallelism, while GPUs offer limited parallelism due to sequential components of RNN models. In this paper we present a hardware implementation of Long-Short Term Memory (LSTM) recurrent network on the programmable logic Zynq 7020 FPGA from Xilinx. We implemented a RNN with $2$ layers and $128$ hidden units in hardware and it has been tested using a character level language model. The implementation is more than $21 imes$ faster than the ARM CPU embedded on the Zynq 7020 FPGA. This work can potentially evolve to a RNN co-processor for future mobile devices.

研究の動機と目的

• RNNの計算非効率性を、CPU や GPU といった従来の組み込みプロセッサにおける逐次的依存関係と限られた並列性の観点から解決すること。
• モバイルおよび組み込みシステムにおける高パフォーマンスで低消費電力な推論を実現するため、LSTMネットワーク向けにカスタムFPGAベースのハードウェアアクセラレータを設計すること。
• Zynq 7020 プラットフォーム上にハードウェア実装されたLSTMを用いて、文字レベル言語モデルのリアルタイム推論を実証すること。
• CPUおよびGPUのベースラインと比較して、FPGA実装の精度、遅延、エネルギー効率を評価すること。

提案手法

• ハードウェア効率を高めるために、固定小数点演算を用いた、ペップホール接続なしの基本的なLSTMアーキテクチャを実装した。
• パイプライン化された乗算器と加算器を用いて、4つのLSTMゲート（入力、忘却、出力、候補セル）の並列化されたハードウェアモジュールを設計した。
• 142 MHzで動作するAXI DMAインタフェースを活用し、FPGAと外部のDDR3メモリ間で、入力シーケンス、重み、隠れ状態をストリーミングで転送した。
• 4つの同時DMAチャネルを活用することでメモリアクセスを最適化し、ピーク帯域幅3.8 GB/sを達成し、ボトルネックを低減した。
• 2コアのARM Cortex-A9プロセッサが制御およびデータフローを担当するZynq 7020 SoCにLSTM計算をマッピングした。
• Torch7で学習された文字レベル言語モデルを用いて、FPGA出力とCPUの基準結果を比較することで、設計の正当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのハードウェアアクセラレータは、組み込みプラットフォーム上のLSTM推論において、一般用途のCPUよりも著しく高いスループットを達成できるか？
• RQ2 特に長いシーケンスにおける誤差伝搬の観点から、FPGA実装されたLSTMの精度は、ソフトウェアベースの推論と比較してどの程度か？
• RQ3 メモリ帯域幅が、FPGA上での並列LSTMモジュールのスケーラビリティに与える影響は何か？
• RQ4 GPUアクセラレーションの恩恵を受けにくい小さなRNNモデルに対しても、ハードウェア設計は低遅延かつ高スループットを維持できるか？
• RQ5 CPUおよびGPUプラットフォームと比較して、FPGA実装のパフォーマンス/消費電力効率はどの程度か？

主な発見

• FPGAベースのLSTM実装は、同じZynq 7020プラットフォーム上でのARM Cortex-A9 CPUと比較して、2層128ユニットの文字レベル言語モデルで21.3倍の高速化を達成した。
• 隠れ状態（h_t）の平均誤差率は2.8%、セル状態（c_t）は3.9%であり、1000ステップにわたり顕著な誤差蓄積は観察されなかった。
• 4つのAXI DMAチャネルを用いることで、ピークメモリ帯域幅1.236 GB/sを維持したが、外部メモリの制限により並列LSTMモジュールの数が制限された。
• MacBook Pro 2016のGPUは、小規模なモデルでは高いメモリコピーのオーバーヘッドが発生したため、CPU（0.569秒）よりもFPGA（0.304秒）の方が高速だった。
• FPGA実装は、CPUやGPUと比較して、顕著に高いパフォーマンス/消費電力比を示し、組み込み推論における優れたエネルギー効率を示した。
• FPGAとCPUの両実装から生成されたテキストは、質的に類似しており、両者ともシャイクスピア風の対話を生成しており、関数的正しさが確認された。