[論文レビュー] RNNAccel: A Fusion Recurrent Neural Network Accelerator for Edge Intelligence

Chao-Yang Kao, Huang-Chih Kuo+4 more|arXiv (Cornell University)|Oct 26, 2020

Ferroelectric and Negative Capacitance Devices参考文献 5被引用数 7

ひとこと要約

RNNAccelは、エッジAIにおけるメモリ帯域幅、エネルギー効率、精度損失の課題に対処するため、32-MACアレイとNeuCompressionエンジンを統合した設定可能なRNNアクセラレータである。40nmプロセスで1.27 TOPs/Wの効率、8倍のモデル圧縮、キーワードスプライティングで90％の推論精度を達成し、MAC利用率は90％に達する。ビット正確なシミュレーションによりSoC統合がスムーズに実現される。

ABSTRACT

Many edge devices employ Recurrent Neural Networks (RNN) to enhance their product intelligence. However, the increasing computation complexity poses challenges for performance, energy efficiency and product development time. In this paper, we present an RNN deep learning accelerator, called RNNAccel, which supports Long Short-Term Memory (LSTM) network, Gated Recurrent Unit (GRU) network, and Fully Connected Layer (FC)/ Multiple-Perceptron Layer (MLP) networks. This RNN accelerator addresses (1) computing unit utilization bottleneck caused by RNN data dependency, (2) inflexible design for specific applications, (3) energy consumption dominated by memory access, (4) accuracy loss due to coefficient compression, and (5) unpredictable performance resulting from processor-accelerator integration. Our proposed RNN accelerator consists of a configurable 32-MAC array and a coefficient decompression engine. The MAC array can be scaled-up to meet throughput requirement and power budget. Its sophisticated off-line compression and simple hardware-friendly on-line decompression, called NeuCompression, reduces memory footprint up to 16x and decreases memory access power. Furthermore, for easy SOC integration, we developed a tool set for bit-accurate simulation and integration result validation. Evaluated using a keyword spotting application, the 32-MAC RNN accelerator achieves 90% MAC utilization, 1.27 TOPs/W at 40nm process, 8x compression ratio, and 90% inference accuracy.

研究の動機と目的

• エッジデバイスにおけるRNNのデータ依存性に起因する計算ユニットの低利用率を解消すること。
• RNN推論ワークロードで支配的であるメモリアクセスに起因するエネルギー消費を低減すること。
• モデル係数の量子化および圧縮に起因する精度損失を最小限に抑えること。
• 多様なエッジAIワークロードに適応可能な柔軟な、アプリケーションに依存しないRNNアクセラレーションを実現すること。
• ビット正確なシミュレーションツールを用いて、予測可能なパフォーマンスとスムーズなSoC統合を確保すること。

提案手法

• スループットとパワー制約に応じてスケーラブルな設定可能な32-MACアレイを設計すること。
• NeuCompression—ハードウェアにやさしいオンライン圧縮技術—を実装し、最大16倍のモデル圧縮を可能にし、面積オーバーヘッドを最小限に抑えること。
• 係数のデ圧縮エンジンを統合し、メモリフットプリントとオフチップメモリアクセスエネルギーを削減すること。
• オフラインでのモデル圧縮とオンラインでのデ圧縮を組み合わせることで、ストレージと帯域幅を最小限に抑えつつ、モデルの精度を維持すること。
• システムオンチップ（SoC）プラットフォームとの統合結果の検証を可能にするビット正確なシミュレーションおよび検証ツールセットを開発すること。
• LSTM、GRU、FC、MLPレイヤーを含む複数のRNNバリアントをサポートし、エッジAIにおける広範な適用性を実現すること。

実験結果

リサーチクエスチョン

• RQ1 RNNアクセラレータは、固有のデータ依存性があるにもかかわらず、どのようにして高いMAC利用率を達成できるか？
• RQ2 モデル圧縮は、推論精度を損なわずに、どれほどメモリフットプリントとアクセスエネルギーを削減できるか？
• RQ3 統一されたアクセラレータ設計は、LSTM、GRU、FC/MLPなど多様なRNNアーキテクチャを効率的にサポートできるか？
• RQ4 ハードウェアにやさしい圧縮およびデ圧縮は、エネルギー効率と面積オーバーヘッドにどのような影響を与えるか？
• RQ5 プロセッサとのアクセラレータ統合を、SoCデプロイメントにおいて予測可能でスムーズに行うにはどうすればよいか？

主な発見

• 32-MACアレイを搭載したRNNAccelは、従来の設計と比較して顕著に高い計算効率を実現し、90％のMAC利用率を達成した。
• 40nmプロセス技術で1.27 TOPs/Wのエネルギー効率を達成し、パフォーマンス/ワット比の高さを実証した。
• NeuCompressionにより最大16倍のモデル圧縮が可能となり、実際にはメモリフットプリントとアクセスエネルギーが8倍削減された。
• キーワードスプライティングタスクにおいて90％の推論精度を維持し、圧縮に起因する精度損失が最小限であることが検証された。
• ビット正確なシミュレーションと統合ツールセットにより、予測可能で信頼性の高いSoCデプロイメントが実現された。
• LSTM、GRU、FC、MLPなど複数のRNNタイプをサポートする設計により、エッジインテリジェンスワークロードへの広範な適用性が実現された。