[論文レビュー] ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network Design in FPGA-Based Systems

Suresh Nambi, Salim Ullah+4 more|arXiv (Cornell University)|Oct 24, 2020

Numerical Methods and Algorithms参考文献 37被引用数 4

ひとこと要約

本論文は、固定小数点演算とポジット数表現を組み合わせることで、効率的なFPGAベースのAI推論を実現するExPAN(N)Dというフレームワークを提案する。新規のポジットから固定小数点への変換回路と、変更されたパラメータ保存方式を導入することで、8ビット固定小数点と比較してモデル保存領域を約46%削減し、MACのエネルギー消費を約18%低減するが、精度の低下は最小限に抑えられる。

ABSTRACT

The recent advances in machine learning, in general, and Artificial Neural Networks (ANN), in particular, has made smart embedded systems an attractive option for a larger number of application areas. However, the high computational complexity, memory footprints, and energy requirements of machine learning models hinder their deployment on resource-constrained embedded systems. Most state-of-the-art works have considered this problem by proposing various low bit-width data representation schemes, optimized arithmetic operators' implementations, and different complexity reduction techniques such as network pruning. To further elevate the implementation gains offered by these individual techniques, there is a need to cross-examine and combine these techniques' unique features. This paper presents ExPAN(N)D, a framework to analyze and ingather the efficacy of the Posit number representation scheme and the efficiency of fixed-point arithmetic implementations for ANNs. The Posit scheme offers a better dynamic range and higher precision for various applications than IEEE $754$ single-precision floating-point format. However, due to the dynamic nature of the various fields of the Posit scheme, the corresponding arithmetic circuits have higher critical path delay and resource requirements than the single-precision-based arithmetic units. Towards this end, we propose a novel Posit to fixed-point converter for enabling high-performance and energy-efficient hardware implementations for ANNs with minimal drop in the output accuracy. We also propose a modified Posit-based representation to store the trained parameters of a network. Compared to an $8$-bit fixed-point-based inference accelerator, our proposed implementation offers $\approx46\%$ and $\approx18\%$ reductions in the storage requirements of the parameters and energy consumption of the MAC units, respectively.

研究の動機と目的

• リソース制限のある埋め込みシステムにニューラルネットワークをデプロイする際の高い計算、メモリ、エネルギー要件に対処すること。
• ニューラルネットワーク推論において、IEEE 754単精度浮動小数点形式と比較してポジット数表現の有効性を評価すること。
• ポジット算術のハードウェアオーバーヘッドを低減するため、それを効率的なFPGA実装のために固定小数点表現に変換すること。
• モデルパラメータ保存領域とMACユニットのエネルギー消費を顕著に削減しながら、精度の劣化を最小限に抑えること。

提案手法

• 動的範囲を持つポジット表現を効率的な固定小数点算術にマッピングするための新規のポジットから固定小数点への変換回路を提案する。
• モデル精度に影響を与えることなくメモリフットプリントを削減する、変更されたポジットベースのパラメータ保存形式を導入する。
• 精度の利点を活かしつつ、ポジットの高面積・高遅延な算術回路を避けるために、固定小数点算術ユニットを推論計算に採用する。
• 変換された固定小数点形式を用いてMACユニットのハードウェアパイプラインとデータパスを最適化し、エネルギー効率を向上させる。
• ベンチマーク用ニューラルネットワークを対象に、FPGAベースのプロトタイピングを用いて性能、面積、エネルギー効率を評価する。
• ネットワークプルーニングと低精度算術技術をポジット表現と組み合わせることで、システム全体の効率向上を最大化する。

実験結果

リサーチクエスチョン

• RQ1 8ビット固定小数点と比較して、FPGAベースのANNにおけるポジット数表現がモデル保存領域とエネルギー消費をどのように削減できるか。
• RQ2 ニューラルネットワーク推論において、ポジットの動的範囲と精度は、IEEE 754単精度と比べてどのように異なるか。
• RQ3 ポジットから固定小数点への変換が、ハードウェア複雑性を低減しつつ、どの程度モデル精度を保持できるか。
• RQ4 変更されたポジットベースのパラメータ保存形式が、メモリフットプリントとエネルギー効率に与える影響は何か。
• RQ5 ポジット表現と固定小数点算術の併用による総合的効果は、全体のシステム効率にどのように寄与するか。

主な発見

• 提案されたポジットから固定小数点への変換回路により、精度の低下を最小限に抑えつつ、高性能かつエネルギー効率の高いFPGA実装が可能になる。
• 8ビット固定小数点アクセラレータと比較して、提案されたシステムは、パラメータ保存領域を約46%削減する。
• MACユニットは、8ビット固定小数点のそれと比較して、約18%のエネルギー消費を低減する。
• 変更されたポジットベースのパラメータ保存形式は、モデル精度を維持したままメモリフットプリントを効果的に削減する。
• フレームワークは、ポジット表現と固定小数点算術を組み合わせることで、推論精度を損なわずに保存領域とエネルギー効率の顕著な向上を達成できることを示している。
• ハードウェアに配慮した変換により、ポジットの動的特性が緩和され、FPGA実装におけるクリティカルパス遅延とリソース使用量が削減される。