[論文レビュー] TENT: Efficient Quantization of Neural Networks on the tiny Edge with Tapered FixEd PoiNT

Hamed F. Langroudi, Vedant Karia+2 more|arXiv (Cornell University)|Apr 5, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

TENTは、TinyMLモデルの重みと活性化の分布に合わせて各層ごとに数値形式のパラメータ（整数ビットとスケーリング）を動的に調整する動的テーパード固定小数点量子化フレームワークを提案する。CIFAR-10およびImageNetベンチマークにおいて、標準の固定小数点形式に比べて最大31%高い精度を達成するが、エネルギー消費は17–30%しか増加しない。

ABSTRACT

In this research, we propose a new low-precision framework, TENT, to leverage the benefits of a tapered fixed-point numerical format in TinyML models. We introduce a tapered fixed-point quantization algorithm that matches the numerical format's dynamic range and distribution to that of the deep neural network model's parameter distribution at each layer. An accelerator architecture for the tapered fixed-point with TENT framework is proposed. Results show that the accuracy on classification tasks improves up to ~31 % with an energy overhead of ~17-30 % as compared to fixed-point, for ConvNet and ResNet-18 models.

研究の動機と目的

• 標準の固定小数点形式における固定動的範囲と均一な間隔が原因で生じる低精度TinyMLモデルの性能低下を解消すること。
• テーパード精度と柔軟な動的範囲を持つ数値形式を活用して、低ビットの固定小数点演算における量子化誤差を低減すること。
• 各層のパラメータおよび活性化の統計的分布に合わせて数値形式をカスタマイズする量子化フレームワークの設計。
• テーパード固定小数点推論を最適化したハードウェアアーキテクチャを設計し、遅延とエネルギー効率を評価すること。
• 実世界のTinyMLベンチマークにおいて、テーパード固定小数点量子化が標準固定小数点形式を上回る精度を達成するが、エネルギーコストは管理可能であることを実証すること。

提案手法

• 固定小数点のハードウェア効率性とポジット形式の動的範囲および非均一解像度を組み合わせたテーパード固定小数点（TFX）数値形式を導入する。
• 各層のパラメータおよび活性化の統計的分布に基づいて、動的に整数ビット幅（IS）とスケーリング係数（SC）を選択する層別量子化アルゴリズムを設計する。
• 5〜8ビットのビット幅を用いて、TFX形式を用いてConvNetおよびResNet-18モデルの重みと活性化の両方を量子化するTENTフレームワークを適用する。
• 遅延とエネルギー消費を評価するため、出力ステーショナリーデータフローと16×16のPEアレイを用いたカスタムハードウェアアクセラレータを実装する。
• 各層ごとに変動するISおよびSCをサポートしながら、面積とエネルギー消費を最小限に抑えるTFXのMACユニット設計を最適化する。
• MNIST、Fashion-MNIST、CIFAR-10を用いて、精度、エネルギー遅延積（EDP）、計算効率の指標を用いて推論性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 動的範囲と非均一解像度を持つテーパード固定小数点形式は、標準固定小数点形式に比べて、低精度TinyMLモデルにおける量子化誤差を低減できるか？
• RQ2 整数ビットとスケーリング係数の層別適応は、多様なTinyMLモデルにおいて推論精度をどの程度向上させるか？
• RQ3 TinyML推論用ハードウェアアクセラレータにテーパード固定小数点演算を実装した場合のエネルギーおよび遅延コストはどの程度か？
• RQ4 標準ベンチマークにおいて、TENTの性能は標準固定小数点量子化と比較して精度とエネルギー効率の点で優れているか？
• RQ5 特にパラメータの動的範囲が大きいモデル（例：ResNet-18）において、TENTフレームワークは同じビット幅で固定小数点形式よりも高い精度を達成できるか？

主な発見

• CIFAR-10データセットにおいて、TENTは標準固定小数点量子化に比べて最大31%高い推論精度を達成した。特に8ビットのResNet-18モデルで顕著な向上が見られた。
• CIFAR-10において、8ビットのTFXは固定小数点形式の54.20%に比べて81.66%のトップ-1精度を達成し、相対的に27.44%の向上を示した。
• TFXのエネルギー遅延積（EDP）は固定小数点形式に比べてわずか17–30%しか増加しなかったため、顕著な精度向上に対して最小限のハードウェアコストで実現された。
• TENTフレームワークは、重みと活性化の層固有の分布に合わせて数値形式を適応させることで、総合的な量子化誤差を低減した。
• 出力ステーショナリーデータフローと16×16のPEアレイを採用することで、計算効率が89.58%から91.82%に向上し、重みステーショナリーフローに比べて遅延が24%削減された。
• 提案されたTFX MACユニットは、各層ごとに変動するISおよびSCをサポートしながら、面積とエネルギー消費を削減し、高い効率性を実現した。