[論文レビュー] Adaptive Block Floating-Point for Analog Deep Learning Hardware

Ayon Basumallik, Darius Bunandar+7 more|arXiv (Cornell University)|May 12, 2022

Analog and Mixed-Signal Circuit Design被引用数 5

ひとこと要約

本稿では、低精度のアナログ・ミックスド・シグナル（AMS）ハードウェア上で高精度なアナログ深層学習推論を可能にするために、ゲインを備えた適応的ブロック浮動小数点（ABFP）を導入する。行列タイルの動的スケーリングと増幅を適用することで、ADCのビット精度を増加させることなく量子化誤差を低減し、float32と比較してMLPerf™ベンチマークで1%未満の精度損失を達成している。これは8ビットADCですら実現可能である。

ABSTRACT

Analog mixed-signal (AMS) devices promise faster, more energy-efficient deep neural network (DNN) inference than their digital counterparts. However, recent studies show that DNNs on AMS devices with fixed-point numbers can incur an accuracy penalty because of precision loss. To mitigate this penalty, we present a novel AMS-compatible adaptive block floating-point (ABFP) number representation. We also introduce amplification (or gain) as a method for increasing the accuracy of the number representation without increasing the bit precision of the output. We evaluate the effectiveness of ABFP on the DNNs in the MLPerf datacenter inference benchmark -- realizing less than $1\%$ loss in accuracy compared to FLOAT32. We also propose a novel method of finetuning for AMS devices, Differential Noise Finetuning (DNF), which samples device noise to speed up finetuning compared to conventional Quantization-Aware Training.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）推論における低精度固定小数点表現に起因する精度の低下を是正すること。
• モデルの精度を損なわずにADCのビット精度を低減することで、AMSベースのDNNアクセラレータのエネルギー消費を削減すること。
• ハードウェアに起因するノイズと量子化誤差に対しても高いモデル品質を維持できる、新たな数値表現およびファインチューニング手法の開発。
• ABFPにゲインを組み合わせることで、最小限のハードウェアオーバーヘッドとエネルギーコストでAMSデバイス上で高精度なDNN推論を実現できることを実証すること。

提案手法

• 行列乗算のタイル化された計算において、共有の指数を用いて入力ベクトルを動的にスケーリングすることで、入力の正規化を実現する、適応的ブロック浮動小数点（ABFP）という数値表現を提案する。
• 出力ビット幅を拡大せずに有効な精度を向上させるために、増幅（ゲイン）を導入し、動的範囲と精度を向上させる。
• 重みと活性化をアナログ計算の前にスケーリングし、集積後にデノーマライズするというアプローチで、ABFPを行列乗算タイルに適用する。
• 実際のデバイスノイズをトレーニング中にサンプリングすることで収束を加速し、耐障害性を向上させる、新規のファインチューニング手法「微分ノイズファインチューニング（DNF）」を提案する。
• 量子化に配慮したトレーニング（QAT）とDNFを組み合わせてDNNをファインチューニングし、ABFPによる量子化とハードウェアノイズの影響を回復可能にする。
• 計算コストを低減するため、仮数部を含まない指数部のみにABFPスケールを制限し、わずかな精度の損失を犠牲にすることで効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ABFPにゲインを組み合わせることで、ADCのビット精度を著しく低減したAMSハードウェア上でも高精度なDNN推論を実現できるか？
• RQ2 大規模なDNNに対して、ABFPは固定小数点表現と比較して、精度とエネルギー効率の両面で優れているか？
• RQ3 ノイズの多いAMSデバイスにおいて、従来の量子化に配慮したトレーニング（QAT）と比較して、微分ノイズファインチューニング（DNF）は収束をより迅速にし、モデル品質の回復をより効果的に実現できるか？
• RQ4 出力次元数や意思決定境界の複雑さが、ABFP量子化およびハードウェアノイズに対するDNNの耐性に与える影響は何か？
• RQ5 ABFPとゲインの組み合わせにより、従来のAMS設計と比較して、高精度推論のエネルギーコストはどの程度低減されるか？

主な発見

• ABFPにゲインを組み合わせることで、8ビットADCでのDNN推論が可能となり、MLPerf™データセンタ推論ベンチマークの全6種類でfloat32と比較して1%未満の精度損失を達成した。
• 先行研究（Rekhi et al., 2021）の最適設定と比較して、ADCのビット精度を12.5ビットから8ビットに低減したことにより、エネルギー消費を約2.8倍削減した。
• ResNet50では、ADCビット数の削減（2^4.5×）によるエネルギー削減効果が、ゲイン8の適用コストを上回り、結果としてエネルギー消費を2.8倍に削減した。
• DNFは実際のデバイスノイズをトレーニング中にサンプリングすることで、収束速度と精度回復の両面で従来のQATを上回った。
• 出力クラス数が少ない（例：2クラス）DNNは、出力次元が高次元（例：1000クラス）のものと比較して、ABFP量子化およびノイズに対してより耐性があることが示され、モデルの複雑さが耐性に影響を与えることがわかった。
• ABFP変換の計算コストは、大きな行列タイルにわたって平均化されるため、低精度ADCによるエネルギー削減効果と比較して無視できるほど小さい。