[論文レビュー] Template-Based Posit Multiplication for Training and Inferring in Neural Networks

Raúl Murillo Montero, Alberto A. Del Barrio+1 more|arXiv (Cornell University)|Jul 9, 2019

Numerical Methods and Algorithms参考文献 23被引用数 10

ひとこと要約

本稿では、指数ビットがゼロ（es=0）をサポートするテンプレートベースのポジット乗算アルゴリズムを提示し、効率的なシグモイド計算と FloPoCo フレームワークへの統合を可能にした。8ビットポジット（⟨8,0⟩）を用いたニューラルネットワークの学習が、浮動小数点と同等の収束を達成することを初めて示した。MNISTでは8ビットポジットが32ビット浮動小数点の精度に匹敵し、CIFAR-10では精度の損失が見られるが、依然として有望な結果を示した。

ABSTRACT

The posit number system is arguably the most promising and discussed topic in Arithmetic nowadays. The recent breakthroughs claimed by the format proposed by John L. Gustafson have put posits in the spotlight. In this work, we first describe an algorithm for multiplying two posit numbers, even when the number of exponent bits is zero. This configuration, scarcely tackled in literature, is particularly interesting because it allows the deployment of a fast sigmoid function. The proposed multiplication algorithm is then integrated as a template into the well-known FloPoCo framework. Synthesis results are shown to compare with the floating point multiplication offered by FloPoCo as well. Second, the performance of posits is studied in the scenario of Neural Networks in both training and inference stages. To the best of our knowledge, this is the first time that training is done with posit format, achieving promising results for a binary classification problem even with reduced posit configurations. In the inference stage, 8-bit posits are as good as floating point when dealing with the MNIST dataset, but lose some accuracy with CIFAR-10.

研究の動機と目的

• 既存のフレームワークにおける低精度設定（指数ビットがゼロ）における効率的なポジット算術サポートの欠如に対処する。
• IEEE 754 浮動小数点よりも高い精度とハードウェア効率を約束するポジット数値体系を用いたニューラルネットワークの学習と推論を可能にする。
• すべての⟨n,es⟩設定（es=0を含む）をサポートする汎用的かつ合成可能なポジット乗算アルゴリズムを開発し、ハードウェアへの展開を促進する。
• ポジットの性能を、ニューラルネットワークの学習段階と推論段階の両方で評価し、精度、収束性、リソース効率に注目する。
• ポジットが、特にメモリと面積の削減が求められる低精度シナリオにおいて、深層学習ワークロードで浮動小数点の実用的代替手段となり得ることを示す。

提案手法

• 可変長領域を処理できる汎用的ポジット乗算アルゴリズムを設計し、指数ビットがゼロ（es=0）をサポートすることで、ニューラルネットワークにおける高速なシグモイド近似を可能にする。
• FloPoCo フレームワーク内に再利用可能なテンプレートとして実装し、ハードウェア設計への自動合成と統合を可能にする。
• テンプレートベースの乗算器を用いて、平均二乗誤差（MSE）損失と確率的勾配降下法を用いたニューラルネットワーク学習パイプラインを構築し、異なる形式間での収束性を比較する。
• 8ビットから32ビットのポジットおよび32/64ビットの浮動小数点を用いて、小さな順方向型ニューラルネットワークを学習し、2500エポックにわたって損失を追跡して収束特性を評価する。
• 推論のため、事前に学習済みの浮動小数点モデル（LeNet-5）を8ビットポジット（⟨8,0⟩）に変換し、NumPyベースのポジットライブラリを用いて推論をシミュレートし、MNISTおよびCIFAR-10での精度を評価する。
• 加算のみをポジット形式で実行するハイブリッドポジット-浮動小数点アーキテクチャを検討し、複雑なデータセットにおける精度損失を軽減する。

実験結果

リサーチクエスチョン

• RQ1 指数ビットがゼロ（es=0）をサポートする汎用的ポジット乗算アルゴリズムを設計・合成可能にし、ニューラルネットワークにおける効率的なシグモイド計算を可能にできるか？
• RQ2 低精度ポジット（例：⟨8,0⟩）を用いたニューラルネットワークの学習が、32ビット浮動小数点学習と同等の収束性と性能を達成できるか？
• RQ3 標準データセット（MNIST や CIFAR-10）における推論において、8ビットポジット（⟨8,0⟩）は32ビット浮動小数点モデルと比較してどの程度の性能を示すか？
• RQ4 ハイブリッドポジット-浮動小数点アーキテクチャは、メモリと面積の利点を保ちつつ推論精度を向上させられるか？
• RQ5 異なるポジット設定（⟨8,0⟩、⟨10,0⟩、⟨16,1⟩ など）を用いた深層学習ワークロードにおいて、精度、収束速度、精度のトレードオフはどのようなものか？

主な発見

• 提示されたテンプレートベースのポジット乗算器は、すべての⟨n,es⟩設定（es=0を含む）を正しくサポートしており、ハードウェア合成用に FloPoCo フレームワークに統合された。
• ⟨8,0⟩ポジットを用いた学習は、安定した損失（1250エポックで0.1530）に収束したが、32ビット浮動小数点や高精度ポジットに比べて収束が遅かった。
• 8ビットポジット（⟨8,0⟩）はMNISTで99.40％のTop-1精度を達成し、32ビット浮動小数点（99.22％）をわずかに上回り、低精度推論に非常に適していることが示された。
• CIFAR-10では8ビットポジットがTop-1精度で12％の低下（56.11％ vs. 68.04％）を示し、複雑な画像認識タスクにおける限界が明らかになった。
• 加算のみをポジット形式で処理するハイブリッドアーキテクチャは、CIFAR-10での精度を58.92％まで向上させたが、依然として完全精度の浮動小数点に劣る結果となった。
• 16ビット（⟨16,1⟩）や32ビット（⟨32,2⟩）ポジットは、32ビット浮動小数点とほぼ同等の収束性と精度を示し、高精度ワークロードにも適していることが示された。