[論文レビュー] ThUnderVolt: Enabling Aggressive Voltage Underscaling and Timing Error Resilience for Energy Efficient Deep Neural Network Accelerators

Jeff Zhang, Kartheek Rangineni+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Memory and Neural Computing参考文献 33被引用数 15

ひとこと要約

ThUndervolt は、誤りを次のサイクルで再計算することで実行オーバーヘッドを回避する革新的なタイミングエラー回復技術 TE-Drop を用いて、DNNアクセラレータにおける攻撃的な電圧アンダースケーリングを可能にする。34.36%〜57.75%のエネルギー削減を達成し、1%未満の精度損失で、Zero-Skip などのランタイムプリーニングと相乗効果を発揮し、ベースライン TPU 設計比で最大 89.49% のエネルギー削減を実現する。

ABSTRACT

Hardware accelerators are being increasingly deployed to boost the performance and energy efficiency of deep neural network (DNN) inference. In this paper we propose Thundervolt, a new framework that enables aggressive voltage underscaling of high-performance DNN accelerators without compromising classification accuracy even in the presence of high timing error rates. Using post-synthesis timing simulations of a DNN accelerator modeled on the Google TPU, we show that Thundervolt enables between 34%-57% energy savings on state-of-the-art speech and image recognition benchmarks with less than 1% loss in classification accuracy and no performance loss. Further, we show that Thundervolt is synergistic with and can further increase the energy efficiency of commonly used run-time DNN pruning techniques like Zero-Skip.

研究の動機と目的

• 電圧アンダースケーリングを適用する際、大規模並列 DNN アクセラレータで高いグローバルタイミングエラー率が生じる課題に対処すること。
• 大規模なシスチルアレイにおいて、従来のタイミングエラー検出・回復（TED）技術が引き起こすパフォーマンスオーバーヘッドを克服すること。
• 分類精度やパフォーマンスを損なわず、攻撃的な電圧アンダースケーリングを可能にするメカニズムを開発すること。
• DNN レイヤーごとに動的に電圧をスケーリングする仕組みを実装し、DNN レイヤー間でのタイミングエラー率をバランスさせること。
• 電圧アンダースケーリングとランタイムプリーニング技術（例：Zero-Skip）の相乗効果を実証し、エネルギー効率をさらに向上させること。

提案手法

• 誤りをRazorフリップフロップで検出するが、再実行を避けて次のサイクルで誤ったMAC演算を再計算する、革新的なタイミングエラー回復メカニズム TE-Drop を提案する。これにより実行オーバーヘッドが解消される。
• 各DNNレイヤーの個別のタイミングエラー率に基づいて、供給電圧を動的に調整するレイヤーごとの電圧アンダースケーリングを実装する。これにより、精度とエネルギー効率の最適化が可能になる。
• Google TPUを模したシスチルアレイアーキテクチャを対象に、実際のプロセス変動やタイミングコーナーを想定した、合成後タイミングシミュレーションを実施してフレームワークの評価を実施。
• ゼロ入力のMAC演算をスキップするランタイムプリーニング技術であるZero-Skipと統合し、非ゼロ演算に対する追加のエネルギー削減を実現。
• 50個のチップサンプルにわたる5%のプロセス変動を想定した統計解析とモンテカルロシミュレーションを実施し、エネルギー削減の堅牢性と一貫性を検証。

実験結果

リサーチクエスチョン

• RQ1 高パフォーマンス DNN アクセラレータに攻撃的な電圧アンダースケーリングを安全に適用できるか、顕著な精度損失やパフォーマンス低下を伴わないか？
• RQ2 10万個以上のMACユニットを有する大規模シスチルアレイアクセラレータにおいて、パフォーマンスオーバーヘッドなしにタイミングエラーを回復する方法は何か？
• RQ3 レイヤーごとの動的電圧スケーリングは、均一な電圧アンダースケーリングに比べ、DNN レイヤー間でのエラー率とエネルギー削減のバランスをどのように改善するか？
• RQ4 ThUndervolt は、Zero-Skip などの既存のランタイムプリーニング技術とどの程度相乗効果を発揮し、エネルギー消費をさらに削減できるか？
• RQ5 DNN アクセラレータにおける電圧アンダースケーリングとエラー耐性を組み合わせた場合、無視できる精度損失で達成可能な最大エネルギー削減率はどの程度か？

主な発見

• ThUndervolt は、TPUに類似したアーキテクチャを対象に合成後タイミングシミュレーションを実施した結果、最先端の画像認識および音声認識ベンチマークで 34.36%〜57.75% のエネルギー削減を達成した。
• TE-Drop メカニズムにより、1つのMACあたり10%を超えるタイミングエラー率でも安定した動作が可能であり、高いエラー率に対しても精度劣化がないことが実証された。
• レイヤーごとの動的電圧スケーリングは、均一なアンダースケーリングに比べて顕著に優れており、レイヤー間でのエラー率のバランスを取ることでエネルギー効率が向上した。
• ThUndervolt は Zero-Skip と相乗効果を発揮する：Zero-Skip に上乗せして ThUndervolt を適用した場合、ベースライン比で 73.27%〜89.49% のエネルギー削減が達成され、パフォーマンス損失なしに1%未満の精度損失にとどまった。
• 50個のチップサンプルにわたる5%のプロセス変動下でも、平均的なエネルギー削減率は安定しており、プロセス変動に対する堅牢性が示された。
• 従来のTED や TEP 技術では実現が難しい、特に高スループットで高並列な DNN アクセラレータにおいて、攻撃的な電圧アンダースケーリングを可能にする。