[論文レビュー] Training Deep Neural Networks Using Posit Number System

Jinming Lu, Siyuan Lu+5 more|arXiv (Cornell University)|Sep 6, 2019

Numerical Methods and Algorithms参考文献 14被引用数 6

ひとこと要約

本論文は、画像認識ベンチマークImageNetで精度損失なしに16ビットポジット学習が可能な、深層ニューラルネットワークの新規トレーニング手法を提案する。ポジット数値形式を用いることで、動的範囲と精度のトレードオフを従来の浮動小数点形式よりも優れたものに可能にした。トレーニングの安定化のためのウォームアップ戦略とレイヤー単位のスケーリングを導入し、エネルギー効率の高いポジットMACハードウェアユニットを設計。このユニットは、FP32と比較して最大83%の消費電力削減と76%の面積削減を達成した。

ABSTRACT

With the increasing size of Deep Neural Network (DNN) models, the high memory space requirements and computational complexity have become an obstacle for efficient DNN implementations. To ease this problem, using reduced-precision representations for DNN training and inference has attracted many interests from researchers. This paper first proposes a methodology for training DNNs with the posit arithmetic, a type- 3 universal number (Unum) format that is similar to the floating point(FP) but has reduced precision. A warm-up training strategy and layer-wise scaling factors are adopted to stabilize training and fit the dynamic range of DNN parameters. With the proposed training methodology, we demonstrate the first successful training of DNN models on ImageNet image classification task in 16 bits posit with no accuracy loss. Then, an efficient hardware architecture for the posit multiply-and-accumulate operation is also proposed, which can achieve significant improvement in energy efficiency than traditional floating-point implementations. The proposed design is helpful for future low-power DNN training accelerators.

研究の動機と目的

• 従来の浮動小数点形式よりも優れた精度-動的範囲のトレードオフを実現するポジット数値形式を用いて、深層ニューラルネットワークの低精度トレーニングを可能にすること。
• 低精度ポジット形式を用いた場合に顕著になる初期トレーニング段階の不安定性と精度の課題を解決すること。
• 効率的なDNNアクセラレータ実装を目的とした、ハードウェア最適化されたポジット乗算累積（MAC）ユニットの設計。
• ポジット演算が、顕著に低い計算コストとメモリコストで、完全なモデル精度を達成できることを実証すること。

提案手法

• 初期段階でFP32を用いたウォームアップトレーニングフェーズを実施し、その後16ビットまたは8ビットポジット算術に切り替えることで、モデル重みの安定化を図る。
• ポジット形式の動的範囲と精度特性に一致するように、対数ドメインにおけるデータ分布からレイヤー単位のスケーリング要因を導出する。
• 各レイヤーに対して最適な指数ビット数（es）を選択するための定量的基準を用いることで、動的範囲と精度のバランスを最適化する。
• 遅延削減を図るためのデコーダとエンコーダを備えた、最適化されたハードウェアアーキテクチャを提案。このアーキテクチャでは、クリティカルパスにあたるアダーを排除するため、複製された左シフト回路を用いる。
• Verilog HDLで実装し、TSMC 28nmプロセスで合成したポジットMACユニットを、FP32 MACユニットと比較して性能と面積を評価。
• デコーダ、FP MACユニット、エンコーダを統合し、遅延と消費電力の低減を図る最適化を施した。

実験結果

リサーチクエスチョン

• RQ1 16ビットポジット算術を用いて、精度損失なしに深層ニューラルネットワークを正しくトレーニングできるか？
• RQ2 低精度ポジット形式を用いた場合に顕著になる初期トレーニング段階の高感度性は、どのように緩和できるか？
• RQ3 DNNレイヤーのデータ分布とポジット数値形式の精度特性を最適に一致させるためのスケーリング戦略は何か？
• RQ4 効率的なDNNアクセラレータ統合を実現するため、ポジット演算のハードウェアオーバーヘッドを最小限に抑える方法は何か？
• RQ5 最適化されたポジットMACユニットにFP32 MACユニットを置き換えることで、どのような性能向上とエネルギー効率の向上が達成できるか？

主な発見

• 提案手法により、ResNet-18をImageNetで16ビットポジット算術でトレーニング可能であり、FP32と比較して精度に損失が生じないことが確認された。
• FP32によるウォームアップを経て16ビットポジットトレーニングに移行する戦略により、モデルの収束性と安定性が確保された。
• 対数ドメインにおけるデータ分布に基づくレイヤー単位のスケーリング要因は、トレーニングの安定性と精度を顕著に向上させた。
• 最適化されたポジットMACハードウェアは、FP32 MACユニットと比較して、消費電力を22%～83%、面積を6%～76%削減した。
• デコーダとエンコーダのアーキテクチャは、それぞれ15%～30%、25%～35%の高速化を達成し、全体のMAC遅延への影響を低減した。
• ポジットMAC設計は、最大4倍のデータ通信オーバーヘッド削減を実現するなど、低消費電力DNNトレーニングアクセラレータへの強い可能性を示した。