[論文レビュー] Deep Learning Training on the Edge with Low-Precision Posits

Hamed F. Langroudi, Zachariah Carmichael+1 more|arXiv (Cornell University)|Jul 30, 2019

Image Processing and 3D Reconstruction参考文献 30被引用数 9

ひとこと要約

本稿では、エッジデバイス上で低精度のポジットを用いた深層ニューラルネットワーク（DNN）の学習を提案し、MNISTおよびFashion-MNISTの分類タスクにおいて16ビットポジットが16ビット浮動小数点を上回ることを実証した。この手法は、ポジットの傾斜型精度特性を活用して、最小限のハードウェア複雑性でDNN学習の精度とエネルギー効率を向上させ、16ビットポジットを用いてMNISTで96.535%、Fashion-MNISTで87.400%の精度を達成した。両方のタスクで16ビット浮動小数点を5%以上上回った。

ABSTRACT

Recently, the posit numerical format has shown promise for DNN data representation and compute with ultra-low precision ([5..8]-bit). However, majority of studies focus only on DNN inference. In this work, we propose DNN training using posits and compare with the floating point training. We evaluate on both MNIST and Fashion MNIST corpuses, where 16-bit posits outperform 16-bit floating point for end-to-end DNN training.

研究の動機と目的

• リソース制約のあるエッジデバイスで、メモリ、帯域幅、エネルギーが限られた状況下でのDNN学習の課題に対処すること。
• 特に低精度での適用を想定したポジット数値形式の有効性を、単なる推論ではなくエンドツーエンドのDNN学習において評価すること。
• 小規模な画像分類タスクにおける16ビットおよび32ビットポジットとそれらの浮動小数点形式の対応物との間で、精度および効率の観点から比較すること。
• 既存の低精度手法よりも単純な丸め処理と低いハードウェアコストで、ポジットが優れた性能を達成できることを実証すること。
• 詳細なパラメータ分析や損失スケーリングを伴わずに、すべてのDNNパラメータに16ビットポジットを使用する可能性を検討すること。

提案手法

• 著者らは、KerasおよびTensorFlow上でソフトウェアエミュレートフレームワークを実装し、DNN学習における16ビットおよび32ビットポジット算術をサポートした。
• 評価には、MNISTおよびFashion-MNISTデータセットに対する標準的な3層隠れ層を持つフィードフォワードニューラルネットワークアーキテクチャを用いた。
• ポジット形式は、重み、活性化、勾配に適用され、複雑な確率的丸めや損失スケーリングを避けるために、最近接丸め戦略が採用された。
• ポジットおよび浮動小数点形式の両方で16ビットおよび32ビット精度をサポートしており、直接比較が可能である。
• 学習プロセスには標準的なバックプロパゲーションとAdam最適化アルゴリズムを用い、beta1およびbeta2は標準値に設定された。
• ポジット数値形式はビットレベルの操作により実装され、入力の大きさに応じてレジームおよび指数フィールドが動的に符号化された。

実験結果

リサーチクエスチョン

• RQ1 低精度ポジット（16ビット）は、エッジデバイスにおけるエンドツーエンドDNN学習で、16ビット浮動小数点と同等またはそれ以上の精度を達成できるか？
• RQ2 ポジットの傾斜型精度特性は、固定精度形式と比較してDNN学習の精度とエネルギー効率を向上させるか？
• RQ3 損失スケーリングや複雑な蓄積精度を必要とせずに、16ビットポジットが32ビット浮動小数点のDNN学習に置き換え可能か？
• RQ4 BFP、ミックスドプレシジョン、固定小数点などの他の低精度手法と比較して、ポジット形式は精度およびハードウェア効率の観点でどのように性能を発揮するか？
• RQ5 16ビットポジット学習において、最近接丸め戦略は十分か、それとも確率的丸めが必要か？

主な発見

• 16ビットポジットはMNISTで96.535%のテスト精度を達成し、16ビット浮動小数点の90.646%を上回った。
• Fashion-MNISTでは16ビットポジットが87.400%の精度を達成し、16ビット浮動小数点の81.725%を上回った。
• 32ビットポジットはMNISTで98.131%の精度を達成し、32ビット浮動小数点の98.087%をわずかに上回った。
• Fashion-MNISTにおける32ビットポジットの精度は89.263%であり、32ビット浮動小数点の89.105%を上回った。
• ポジットと浮動小数点の間で、両方のデータセットおよび両方の精度レベルにおいて一貫した性能向上が確認され、その堅牢性が示された。
• 結果から、ポジットは最小限のハードウェア複雑性で高い精度を達成可能であり、最近接丸めと損失スケーリングなしに実現可能であることが示唆された。