[論文レビュー] An Experimental Study of Reduced-Voltage Operation in Modern FPGAs for Neural Network Acceleration

Behzad Salami, Erhan Baturay Onural+7 more|arXiv (Cornell University)|May 4, 2020

Advanced Memory and Neural Computing参考文献 144被引用数 49

ひとこと要約

この論文は、CNN推論のための現代FPGAにおける undervolting を実験的に分析し、電圧ガードバンドを定量化し、制御した精度損失とともに3倍超の電力効率向上を示す。周波数スケーリング、量子化、剪定によって支援される。

ABSTRACT

We empirically evaluate an undervolting technique, i.e., underscaling the circuit supply voltage below the nominal level, to improve the power-efficiency of Convolutional Neural Network (CNN) accelerators mapped to Field Programmable Gate Arrays (FPGAs). Undervolting below a safe voltage level can lead to timing faults due to excessive circuit latency increase. We evaluate the reliability-power trade-off for such accelerators. Specifically, we experimentally study the reduced-voltage operation of multiple components of real FPGAs, characterize the corresponding reliability behavior of CNN accelerators, propose techniques to minimize the drawbacks of reduced-voltage operation, and combine undervolting with architectural CNN optimization techniques, i.e., quantization and pruning. We investigate the effect of environmental temperature on the reliability-power trade-off of such accelerators. We perform experiments on three identical samples of modern Xilinx ZCU102 FPGA platforms with five state-of-the-art image classification CNN benchmarks. This approach allows us to study the effects of our undervolting technique for both software and hardware variability. We achieve more than 3X power-efficiency (GOPs/W) gain via undervolting. 2.6X of this gain is the result of eliminating the voltage guardband region, i.e., the safe voltage region below the nominal level that is set by FPGA vendor to ensure correct functionality in worst-case environmental and circuit conditions. 43% of the power-efficiency gain is due to further undervolting below the guardband, which comes at the cost of accuracy loss in the CNN accelerator. We evaluate an effective frequency underscaling technique that prevents this accuracy loss, and find that it reduces the power-efficiency gain from 43% to 25%.

研究の動機と目的

• FPGAベースのCNNアクセラレータに対する低電圧操作の電力と信頼性への影響を特徴付ける。
• FPGAの電圧ガードバンドの大きさと、それを下回る undervolting の信頼性/精度への影響を評価する。
• 精度損失を抑えつつ電力効率を維持するための技術（周波数アンダースケーリング、量子化、剪定）を評価する。
• undervolting の下での環境温度が電力-信頼性のトレードオフに与える影響を評価する。
• identical なFPGAプラットフォームを複数回試験し、ガードバンドとクラッシュ電圧のばらつきを理解する。

提案手法

• PMBus 制御電源を使用して、3台の同一Xilinx ZCU102 FPGAボードで VCCINT を実験的に undervolt する。
• 5つのCNNベンチマーク（VGGNet、GoogleNet、AlexNet、ResNet50、Inception）をFPGA上のDPUにマッピングし、電力、精度、スループットを測定する。
• 電圧領域を特定する：ガードバンド（精度損失なし）、最小安全電圧 V_min（精度損失なしだがマージン減）、クリティカル領域（精度損失開始）、V_crash（システムが機能しなくなる。
• クリティカル領域の精度損失を補うために周波数アンダースケーリングを適用し、エネルギー効率指標（GOPs、GOPs/W、GOPs/J）を評価する。
• undervolting と CNN の量子化（INT8–INT4 をテスト）および剪定を組み合わせ、精度と電力効率のトレードオフを研究する。
• 環境温度を変化させて周囲温度が電力と信頼性に与える影響を測定する。

実験結果

リサーチクエスチョン

• RQ1 現代のFPGAプラットフォームにおける nominal V_nom に対する VCCINT の平均的な電圧ガードバンドはどれくらいか。
• RQ2 ガードバンド以下で undervolting は、標準的なCNNモデルを横断して精度と全体の電力効率にどのような影響を与えるか。
• RQ3 周波数アンダースケーリングやアーキテクチャ的手法（量子化/剪定）は、精度損失を抑えつつ電力効率を維持または向上させられるか。
• RQ4 環境温度は低電圧下での電力-信頼性のトレードオフにどのように影響するか。
• RQ5 同一のFPGA基板間でガードバンドとクラッシュ電圧のハードウェアプラットフォームのばらつきはどの程度か。

主な発見

• VCCINT の平均的な電圧ガードバンドは約280 mV（V_min ≈ 570 mV、V_nom = 850 mV）である。
• 平均的な最小安全電圧 V_min は570 mV であり、これを下回るとクリティカル領域に入るまで精度は安定する。
• V_min を超えて undervolting すると、精度損失が増える中で電力効率が最大で >3x（GOPs/W）の利得を生む；この利得のうち約2.6xはガードバンドの除去によるもので、さらにクリティカル領域での undervolting によって追加の43%が生まれる。
• V_crash は平均約540 mV 付近で発生し、FPGA が機能しなくなる。パラメータ数の多いワークロード（例：ResNet、Inception）はより脆弱。
• 周波数アンダースケーリングはクリティカル領域の精度損失を緩和し得るが、エネルギー最適点は通常、最低安全電圧（V_min）での最大安全周波数となる。
• 量子化と剪定は undervolting 下での電力効率向上を増幅するが、故障への脆弱性をやや高める。剪定モデルは基準より高い V_crash（555 mV）を示す。
• 環境温度は電力消費と故障の可能性に影響を与える。非常に低い電圧では温度効果は顕著ではない。
• 内部FPGA コンポーネント、特にオンチップBRAM/DPUリソースが電力消費を支配しており、 undervolting は主に VCCINT をターゲットとしてこの負荷を削減する。