[論文レビュー] Structured Weight Matrices-Based Hardware Accelerators in Deep Neural Networks: FPGAs and ASICs

Caiwen Ding, Ao Ren+6 more|arXiv (Cornell University)|Mar 28, 2018

Advanced Neural Network Applications参考文献 24被引用数 10

ひとこと要約

本論文は、FPGAおよびASIC実装を効率的に行うために、ブロック巡回行列に基づく構造的重み行列（SWM）を提案する。計算複雑性をO(n²)からO(n log n)、ストレージをO(n²)からO(n)に削減することで、FPGAでは最大152倍の性能向上と72倍のエネルギー効率向上を達成し、LSTMモデルでは21倍の高速化と33.5倍のエネルギー効率向上を実現。40nm ASIC設計では、8.08×10⁶枚の画像/Jのエネルギー効率を達成した。

ABSTRACT

Both industry and academia have extensively investigated hardware accelerations. In this work, to address the increasing demands in computational capability and memory requirement, we propose structured weight matrices (SWM)-based compression techniques for both \emph{field programmable gate array} (FPGA) and \emph{application-specific integrated circuit} (ASIC) implementations. In algorithm part, SWM-based framework adopts block-circulant matrices to achieve a fine-grained tradeoff between accuracy and compression ratio. The SWM-based technique can reduce computational complexity from O($n^2$) to O($n\log n$) and storage complexity from O($n^2$) to O($n$) for each layer and both training and inference phases. For FPGA implementations on deep convolutional neural networks (DCNNs), we achieve at least 152X and 72X improvement in performance and energy efficiency, respectively using the SWM-based framework, compared with the baseline of IBM TrueNorth processor under same accuracy constraints using the data set of MNIST, SVHN, and CIFAR-10. For FPGA implementations on long short term memory (LSTM) networks, the proposed SWM-based LSTM can achieve up to 21X enhancement in performance and 33.5X gains in energy efficiency compared with the baseline accelerator. For ASIC implementations, the SWM-based ASIC design exhibits impressive advantages in terms of power, throughput, and energy efficiency. Experimental results indicate that this method is greatly suitable for applying DNNs onto both FPGAs and mobile/IoT devices.

研究の動機と目的

• リソース制限のある環境における大規模なディープニューラルネットワーク（DNN）の増大する計算およびメモリ要件に対処すること。
• スパarsityや低ランク近似といった既存のモデル圧縮技術の限界、特に不規則性と増加するトレーニング複雑性を克服すること。
• モバイルおよびIoTデバイス向けに、高性能でエネルギー効率の高いDNN推論をFPGAおよびASICで実現すること。
• 構造的重み行列設計により、モデル精度と圧縮比の細かいトレードオフを実現すること。
• 全結合層および畳み込み層の両方への適用が可能な数学的に厳密なフレームワークを構築すること。

提案手法

• DNN層内の密な重み行列を置き換えるために、ブロック巡回行列を構造的重み行列（SWM）として採用する。
• 高速フーリエ変換（FFT）を活用して行列-ベクトル積を効率化し、複雑性をO(n²)からO(n log n)に低減する。
• 全結合層および畳み込み層に重み行列変換を適用し、モデル精度を保持しながら圧縮を可能にする。
• ASIC設計では64点FFTモジュールを用いて64要素のベクトルを処理し、構造的行列の効率的計算を実現する。
• FPGA（XCKU060、Virtex-7）およびASIC（SMIC 40nm）プラットフォームの両方でSWMベースの設計を実装し、エンドツーエンドの評価を実施する。
• 精度を維持するため、出力層の元の重み構造を保持する一方で、それ以外のすべての層をブロック巡回形に変換する。

実験結果

リサーチクエスチョン

• RQ1 ブロック巡回行列に基づく構造的重み行列（SWM）は、DNNにおいて高い圧縮比を実現しながらも高いモデル精度を維持できるか？
• RQ2 SWMベースの設計は、全結合層および畳み込み層において、計算およびストレージの複雑性をどの程度低減できるか？
• RQ3 SWMベースのアクセラレータは、IBM TrueNorth や ESE といった最先端のベースラインと比較して、FPGAプラットフォーム上で性能およびエネルギー効率の面でどの程度優れているか？
• RQ4 SWMベースの設計は、モバイルおよびIoTアプリケーション向けASIC実装において、どの程度の性能およびエネルギー効率の向上を達成できるか？
• RQ5 SWMフレームワークは、CNNおよびRNN（例：LSTM）の両方に対して、最小限の精度低下で効果的に適用可能か？

主な発見

• FPGAプラットフォームでは、SWMベースのフレームワークが、MNIST、SVHN、CIFAR-10の各データセットにおいて、類似した精度制約下でIBM TrueNorthよりも最低でも152倍の性能向上と72倍のエネルギー効率向上を達成した。
• LSTMネットワークでは、AMD-7v3 FPGA上でのESEアクセラレータと比較して、SWMベースの設計が最大21倍の高速化と33.5倍のエネルギー効率向上を達成した。
• SMIC 40nm技術を用いたASIC実装では、1.14×10⁶枚の画像/秒のスループット、0.14Wの消費電力、8.08×10⁶枚の画像/Jのエネルギー効率を達成した。
• SWMベースの設計は、LSTM2（ブロックサイズ8）で0.32%の相対的PER低下、LSTM1（ブロックサイズ16）で1.23%の相対的PER低下を示し、高い精度を維持した。
• 各層あたりのストレージ複雑性をO(n²)からO(n)、計算複雑性をO(n²)からO(n log n)に低減したため、エッジデバイスへのスケーラブルな展開が可能になった。
• 特にXCKU060 FPGAは28nm Virtex-7よりも先端の20nmプロセスを採用しているにもかかわらず、消費電力の低減により、エネルギー効率の向上は性能向上を上回った。