[論文レビュー] AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference

Thierry Tambe, En-Yu Yang+6 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 33被引用数 23

ひとこと要約

AdaptivFloat は、深層ニューラルネットワークのレイヤー単位で動的範囲を最大化し、最適なクリッピングを実現する動的浮動小数点型に似たデータ型であり、超低精度（≤8ビット）での推論精度を向上させる。8ビット未満の精度で、FP32ベースライン比で最高+0.3 BLEUスコアおよび-0.75 WERの向上を達成。整数型アクセラレータと比較して、1操作あたりのエネルギー消費を10–100％削減。ハードウェア実装では、1.14倍の面積効率および0.9倍のエネルギー効率向上を達成。

ABSTRACT

Conventional hardware-friendly quantization methods, such as fixed-point or integer, tend to perform poorly at very low word sizes as their shrinking dynamic ranges cannot adequately capture the wide data distributions commonly seen in sequence transduction models. We present AdaptivFloat, a floating-point inspired number representation format for deep learning that dynamically maximizes and optimally clips its available dynamic range, at a layer granularity, in order to create faithful encoding of neural network parameters. AdaptivFloat consistently produces higher inference accuracies compared to block floating-point, uniform, IEEE-like float or posit encodings at very low precision ($\leq$ 8-bit) across a diverse set of state-of-the-art neural network topologies. And notably, AdaptivFloat is seen surpassing baseline FP32 performance by up to +0.3 in BLEU score and -0.75 in word error rate at weight bit widths that are $\leq$ 8-bit. Experimental results on a deep neural network (DNN) hardware accelerator, exploiting AdaptivFloat logic in its computational datapath, demonstrate per-operation energy and area that is 0.9$ imes$ and 1.14$ imes$, respectively, that of equivalent bit width integer-based accelerator variants.

研究の動機と目的

• 変換器やRNNなど、重み分布が広い深層学習モデルにおいて、固定小数点および整数型量子化の性能が著しく劣ることに対処する。
• 低ビット幅における表現忠実度を最大化するために、各レイヤーごとに指数範囲を動的に調整する浮動小数点に基づくデータ型を設計する。
• 整数型アクセラレータと比較して、優れたエネルギーおよび面積効率を達成するためのハードウェア効率の良いプロセッシングエレメント（HFINT PE）を設計する。
• 非常に低精度におけるブロック浮動小数点、均一な浮動小数点、IEEEに類似した浮動小数点、ポジット符号化と比較して、AdaptivFloatがより高い計算密度と低い精度損ないやを実現できることを実証する。

提案手法

• 数値表現の利用可能な動的範囲を最大化するために、各レイヤーごとに動的指数バイアスを調整する。
• ハードウェア複雑性を低減するため、非正規化数に対して独自のクリッピング戦略と、カスタマイズされたゼロ割り当て方式を採用する。
• ブロック浮動小数点形式で一般的に生じる精度損失を回避するため、各テンソル要素に対して指数部と仮数部を独立して保持する。
• 推論中にリアルタイムで調整可能なオンチップレジスタに適応的指数バイアスを保存することで、アルゴリズムとハードウェアの共同最適化を実現する。
• 浮動小数点演算と固定小数点後処理を統合したハイブリッド浮動小数点・整数（HFINT）プロセッシングエレメントを提案し、精度とハードウェア密度のバランスを図る。
• 高水準合成（HLS）を用いてVerilogで実装し、パイプライン化されたベクトルMACユニットを備えた16nm FinFETプロセスをターゲットに、高スルーレートを実現。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点型データ型が、各レイヤーごとに指数範囲を動的に調整することで、低精度DNN推論における精度を向上させることができるか？
• RQ2 ≤8ビット精度における推論精度に関して、AdaptivFloatは固定小数点、ブロック浮動小数点、非適応的浮動小数点／ポジット形式と比較してどのように差をつけるか？
• RQ3 同等のビット幅における整数型アクセラレータと比較して、AdaptivFloatを搭載したアクセラレータのエネルギーおよび面積効率はどの程度か？
• RQ4 提案されたHFINTプロセッシングエレメントは、統合型整数PEと比較して、より優れたエネルギー効率を達成できるか？
• RQ5 既存の低精度符号化方式と比較して、AdaptivFloatはより高い計算密度と低い精度損ないを実現できるか？

主な発見

• AdaptivFloat は、≤8ビットの重み精度で、FP32ベースライン比で最高+0.3 BLEUスコアおよび-0.75 WERの向上を達成し、系列変換モデルにおける優れた精度を示した。
• HFINT PE は、さまざまなベクトルサイズおよびオペランドビット幅において、整数型PEと比較して1操作あたりのエネルギー消費を0.90×～0.97×に削減した。
• HFINTアクセラレータは、整数型アクセラレータと比較して1.14倍の面積を要したが、消費電力を0.92倍に抑え、エネルギー効率の向上を確認した。
• 8ビット精度において、AdaptivFloatは、ブロック浮動小数点、均一な符号化、IEEEに類似した浮動小数点、ポジット符号化と比較して、精度およびエネルギー効率の両面で一貫して優れた性能を示した。
• アルゴリズムとハードウェアの共同最適化により、整数型設計と同等の遅延で100％の計算時間効率を達成した。これにより、優れたPPA指標が実現された。
• AdaptivFloat の自己教師型特性は、ラベルなしの重み分布のみに依存するため、再訓練を必要とせず、多様なDNNアーキテクチャに広く適用可能である。