[論文レビュー] Bit Error Robustness for Energy-Efficient DNN Accelerators

David Stutz, Nandhini Chandramoorthy+2 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Neural Network Applications参考文献 112被引用数 8

ひとこと要約

本論文は、耐障害性の高い固定小数点量子化、重みクリッピング、およびランダムビットエラー訓練（RandBET）を組み合わせた新しいトレーニングフレームワークを提案し、低電圧DNNアクセラレータにおけるビットエラーに対する深層ニューラルネットワーク（DNN）の耐性を向上させることを目的としている。量子化された重みに対するランダムビットエラーに対する耐性を向上させることで、CIFAR10において最大30％のエネルギー効率向上が達成可能であり、2.5％の精度低下にとどまり、4ビット精度でも実現可能である。また、電圧やアクセラレータ設計の違いに一般化可能である。

ABSTRACT

Deep neural network (DNN) accelerators received considerable attention in past years due to saved energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption significantly, however, causes bit-level failures in the memory storing the quantized DNN weights. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, and random bit error training (RandBET) improves robustness against random bit errors in (quantized) DNN weights significantly. This leads to high energy savings from both low-voltage operation as well as low-precision quantization. Our approach generalizes across operating voltages and accelerators, as demonstrated on bit errors from profiled SRAM arrays. We also discuss why weight clipping alone is already a quite effective way to achieve robustness against bit errors. Moreover, we specifically discuss the involved trade-offs regarding accuracy, robustness and precision: Without losing more than 1% in accuracy compared to a normally trained 8-bit DNN, we can reduce energy consumption on CIFAR-10 by 20%. Higher energy savings of, e.g., 30%, are possible at the cost of 2.5% accuracy, even for 4-bit DNNs.

研究の動機と目的

• 超低電圧DNNアクセラレータにおけるメモリ信頼性の大きな課題に対処すること。具体的には、電圧スケーリングを激しく行うとSRAMに格納された重みにランダムビットエラーが発生する。
• 各チップごとの高価なエラー補正コードやプロファイリングに依存せずに、DNNのランダムビットエラーに対する耐性を向上させるトレーニング手法を開発すること。
• 低精度量子化と電圧スケーリングに起因するビットレベルの故障に対する耐性を組み合わせることで、DNN推論における高いエネルギー効率を実現すること。
• 再トレーニングを必要とせずに、異なる動作電圧、アクセラレータアーキテクチャ、およびビット幅（8ビット、4ビット、2ビット）に一般化可能であることを示すこと。
• 現実的なビットエラー状況下での、精度、耐性、エネルギー効率のトレードオフを定量すること。

提案手法

• 精度に変化がないまま、ビットエラーに対して顕著に耐性が高い固定小数点量子化方式（RQuant）を導入し、耐性を大幅に向上させる。
• 重みの分布を広げるためにトレーニング中に深刻な重みクリッピングを適用し、ビット反転に対する感受性を低減する明示的な正則化としての役割を果たす。
• ランダムビットエラー訓練（RandBET）を採用し、各順方向伝搬の度に量子化された重みでランダムビット反転をシミュレートすることで、ネットワークがこのようなエラーに耐性を持つようにトレーニングする。
• 重みの大きさを制御する学習可能なクリッピングしきい値（w_max）を用い、アブレーションスタディにより最適な耐性がw_max = 0.1または0.05で達成されることを示した。
• 14nmアレイから得たプロファイリング済みSRAMビットエラーパターンを用いてDNNをトレーニングし、実世界のエラー分布を再現することで、電圧やチップ間での一般化を可能にした。
• RQuant、重みクリッピング、RandBETを統合した協調的なトレーニングパイプラインを構築し、精度の低下を最小限に抑えつつ耐性を最大化した。

実験結果

リサーチクエスチョン

• RQ1 固定小数点量子化方式の選択が、精度に影響を与えない範囲でDNN重みのランダムビットエラーに対する耐性に与える影響はいかほどか？
• RQ2 トレーニング中の重みクリッピングが、ビットエラーに対する耐性を向上させる正則化としてどれほど有効か？
• RQ3 各チップごとのプロファイリングを必要とせずに、RandBETが異なる動作電圧やアクセラレータ構成に一般化可能か？
• RQ4 低精度量子化とビットエラー耐性を組み合わせた場合、エネルギー節約、精度損失、耐性の間のトレードオフはどのようなものか？
• RQ5 異なるビット幅（8ビット、4ビット、2ビット）において、特に高いビットエラー率（例：p=1%）下でも、提案手法の性能維持効果はどの程度効果的か？

主な発見

• 標準の8ビットDNNと比較して1％の精度低下を超えない範囲で、CIFAR10において20％のエネルギー節約が達成された。
• 4ビットDNNですでに2.5％の精度低下で最大30％のエネルギー節約が可能であり、エネルギー-精度のトレードオフが顕著に優れていることが示された。
• 重みクリッピングのみで、8ビットモデルにおいてp=1％の条件下でビットエラー率（BER）が最大90％低下した。これは正則化としての有効性を示している。
• w_max=0.05およびp=1％の条件下でRandBETを適用した場合、MNISTではベースラインのBER 90.03％が89.15％に低下し、90％の精度を維持した。
• 本手法は電圧やアクセラレータ間で一般化可能である。ある電圧でトレーニングしたモデルは他の電圧でも耐性を示し、各チップごとのプロファイリングの必要がなくなった。
• 4ビット精度において、RandBETとw_max=0.05を用いることで、p=1％の条件下でBERをベースラインの89.97％から87.63％に低下させ、低精度でも強い耐性を示した。