[论文解读] Bit Error Robustness for Energy-Efficient DNN Accelerators

David Stutz, Nandhini Chandramoorthy+2 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Neural Network Applications参考文献 112被引用 8

一句话总结

该论文提出了一种新颖的训练框架，结合了鲁棒的定点量化、权重裁剪和随机位错误训练（RandBET），以增强深度神经网络（DNN）在低电压DNN加速器中对位错误的抗性。通过提升量化权重对随机位错误的鲁棒性，该方法在CIFAR10上实现了高达30%的能效节省，且精度仅下降2.5%，即使在4位精度下也成立，同时在不同电压和加速器设计间具有良好的泛化能力。

ABSTRACT

Deep neural network (DNN) accelerators received considerable attention in past years due to saved energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption significantly, however, causes bit-level failures in the memory storing the quantized DNN weights. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, and random bit error training (RandBET) improves robustness against random bit errors in (quantized) DNN weights significantly. This leads to high energy savings from both low-voltage operation as well as low-precision quantization. Our approach generalizes across operating voltages and accelerators, as demonstrated on bit errors from profiled SRAM arrays. We also discuss why weight clipping alone is already a quite effective way to achieve robustness against bit errors. Moreover, we specifically discuss the involved trade-offs regarding accuracy, robustness and precision: Without losing more than 1% in accuracy compared to a normally trained 8-bit DNN, we can reduce energy consumption on CIFAR-10 by 20%. Higher energy savings of, e.g., 30%, are possible at the cost of 2.5% accuracy, even for 4-bit DNNs.

研究动机与目标

• 为解决超低电压DNN加速器中内存可靠性这一关键瓶颈，其中激进的电压缩放会在SRAM存储的权重中引发随机位错误。
• 开发一种无需依赖昂贵纠错码或每芯片后硅分析的训练方法，以增强DNN对随机位错误的鲁棒性。
• 通过结合低精度量化与对电压缩放引起的位级故障的鲁棒性，实现DNN推理的高能效。
• 在不针对每种配置重新训练的前提下，证明方法在不同工作电压、加速器架构和位宽（8位、4位、2位）之间的泛化能力。
• 量化在真实位错误条件下，精度、鲁棒性与能效之间的权衡。

提出的方法

• 提出一种鲁棒的定点量化方案（RQuant），显著提升对位错误的鲁棒性，即使在精度不变的情况下亦然。
• 在训练过程中应用激进的权重裁剪，作为显式正则化手段，以扩展权重分布并降低对位翻转的敏感性。
• 采用随机位错误训练（RandBET），在每次前向传播中模拟量化权重中的随机位翻转，使网络能够容忍此类错误。
• 使用可学习的裁剪阈值（w_max）来控制权重的幅值，消融实验表明在w_max = 0.1或0.05时鲁棒性最优。
• 基于14nm阵列的SRAM位错误模式进行DNN训练，以模拟真实世界中的错误分布，从而实现跨电压和芯片的泛化。
• 将RQuant、权重裁剪与RandBET协同整合到一个训练流水线中，以最大化鲁棒性并最小化精度下降。

实验结果

研究问题

• RQ1 固定点量化方案的选择在独立于精度的前提下，如何影响DNN权重对随机位错误的鲁棒性？
• RQ2 在训练过程中，权重裁剪在多大程度上可作为正则化手段以提升对位错误的鲁棒性？
• RQ3 RandBET是否能在无需每芯片分析的前提下，泛化至不同的工作电压和加速器配置？
• RQ4 在结合低精度量化与位错误鲁棒性时，能效节省、精度损失与鲁棒性之间的权衡如何？
• RQ5 该方法在不同位宽（8位、4位、2位）下，面对高比特错误率（如p=1%）时，性能保持的有效性如何？

主要发现

• 在精度下降不超过1%的前提下，与标准8位DNN相比，该方法在CIFAR10上实现了20%的能效节省。
• 即使在4位DNN中，仅以2.5%的精度损失为代价，也能实现高达30%的能效节省，展现出优异的能效-精度权衡。
• 仅使用权重裁剪，即可在p=1%时使8位模型的位错误率（BER）降低高达90%，证明其作为正则化手段的有效性。
• 在p=1%时，使用w_max=0.05的RandBET将MNIST上BER从基线的90.03%降低至89.15%，同时保持90%的精度。
• 该方法在电压和加速器之间具有泛化能力：在某一电压下训练的模型在其他电压下仍保持鲁棒，无需每芯片的分析。
• 在4位精度下，使用w_max=0.05的RandBET，将BER从基线的89.97%降低至p=1%时的87.63%，表明即使在低精度下也具备强鲁棒性。