[论文解读] An Experimental Study of Reduced-Voltage Operation in Modern FPGAs for Neural Network Acceleration

Behzad Salami, Erhan Baturay Onural+7 more|arXiv (Cornell University)|May 4, 2020

Advanced Memory and Neural Computing参考文献 144被引用 49

一句话总结

该论文在现代 FPGA 上对 CNN 推理进行 undervolting 的实验分析，量化电压保护带，并在可控精度损失的前提下，结合频率缩放、量化与剪枝，展示出 >3x 的功率效率提升。

ABSTRACT

We empirically evaluate an undervolting technique, i.e., underscaling the circuit supply voltage below the nominal level, to improve the power-efficiency of Convolutional Neural Network (CNN) accelerators mapped to Field Programmable Gate Arrays (FPGAs). Undervolting below a safe voltage level can lead to timing faults due to excessive circuit latency increase. We evaluate the reliability-power trade-off for such accelerators. Specifically, we experimentally study the reduced-voltage operation of multiple components of real FPGAs, characterize the corresponding reliability behavior of CNN accelerators, propose techniques to minimize the drawbacks of reduced-voltage operation, and combine undervolting with architectural CNN optimization techniques, i.e., quantization and pruning. We investigate the effect of environmental temperature on the reliability-power trade-off of such accelerators. We perform experiments on three identical samples of modern Xilinx ZCU102 FPGA platforms with five state-of-the-art image classification CNN benchmarks. This approach allows us to study the effects of our undervolting technique for both software and hardware variability. We achieve more than 3X power-efficiency (GOPs/W) gain via undervolting. 2.6X of this gain is the result of eliminating the voltage guardband region, i.e., the safe voltage region below the nominal level that is set by FPGA vendor to ensure correct functionality in worst-case environmental and circuit conditions. 43% of the power-efficiency gain is due to further undervolting below the guardband, which comes at the cost of accuracy loss in the CNN accelerator. We evaluate an effective frequency underscaling technique that prevents this accuracy loss, and find that it reduces the power-efficiency gain from 43% to 25%.

研究动机与目标

• 表征降低电压对基于 FPGA 的 CNN 加速器的功率与可靠性影响。
• 确定 FPGA 电压保护带的大小，以及低于该保护带的 undervolting 对可靠性/精度的影响。
• 评估技术（频率下缩放、量化、剪枝）在保持功耗效率的同时缓解精度损失的效果。
• 在 undervolted FPGA CNN 加速器中评估环境温度对功耗-可靠性权衡的影响。
• 通过在相同的多块 FPGA 平台上测试，研究硬件平台差异对保护带和崩溃电压的变化。

提出的方法

• 在三块完全同型的 Xilinx ZCU102 FPGA 板上使用 PMBus 控制的电压轨对 VCCINT 进行实验性 undervolt。
• 将五个 CNN 基准 (VGGNet, GoogleNet, AlexNet, ResNet50, Inception) 映射到 FPGA 上的 DPU，并测量功耗、精度与吞吐量。
• 识别电压区间：保护带（无精度损失）、最小安全电压 V_min（无精度损失但边际减少）、临界区（开始出现精度损失）、V_crash（系统不可用）。
• 通过对临界区进行频率下缩放来补偿精度损失，并评估能量效率指标（GOPs、GOPs/W、GOPs/J）。
• 将 undervolting 与 CNN 量化（测试的 INT8–INT4）与剪枝结合，研究精度与功率效率之间的权衡。
• 通过改变环境温度并测量对功耗与可靠性的影响来考察环境温度效应。

实验结果

研究问题

• RQ1 现代 FPGA 平台的 VCCINT 的平均电压保护带在 nominal 电压以下是多少？
• RQ2 在保护带以下 undervolting 如何影响 CNN 精度与整体功率效率，针对标准 CNN 模型？
• RQ3 频率下缩放或结构性技术（量化/剪枝）是否能在维持或提高功率效率的同时缓解精度损失？
• RQ4 环境温度如何影响在降压条件下的功耗-可靠性权衡？
• RQ5 在相同 FPGA 板之间，硬件平台在保护带和崩溃电压方面的变异程度有多大？

主要发现

• 平均 VCCINT 的电压保护带大约为 280 mV（V_min ≈ 570 mV，V_nom = 850 mV）。
• 平均最小安全电压 V_min 为 570 mV；低于此值，精度保持稳定，直到进入临界区域。
• 超过 V_min，undervolting 可带来高达 >3x 的功率效率提升（GOPs/W），但伴随精度损失增加；去除保护带带来约 2.6x 的提升，临界区进一步 undervolting 额外带来约 43% 的提升。
• V_crash 在平均约 540 mV 时发生，此时 FPGA 进入不可功能状态；参数更多、如 ResNet、Inception 的工作负载更易受影响。
• 频率下缩放有助于缓解临界区的精度损失；但能量最优点往往是在最低安全电压下的最高安全频率（V_min）。
• 量化与剪枝在 undervolting 下放大了功率效率提升，但对故障的易感性略有增加；剪枝模型的 V_crash（555 mV）高于基线（540 mV）。
• 环境温度影响功耗与故障概率；在极低电压下，温度效应不太明显。
• FPGA 内部组件，尤其是片上 BRAM/DPU 资源，是功耗的主导因素； undervolting 主要针对 VCCINT 以降低这部分负载。