[論文レビュー] FATE: Fast and Accurate Timing Error Prediction Framework for Low Power DNN Accelerator Design

Jeff Zhang, Siddharth Garg|arXiv (Cornell University)|Jul 2, 2018

Energy Harvesting in Wireless Networks参考文献 2被引用数 5

ひとこと要約

FATEは、DNNアクセラレータの低消費電力化を目的とした高速かつ高精度なタイミングエラー予測フレームワークであり、DNNベースの遅延モデル（DelayNet）とMAC演算の統計的サンプリングを組み合わせている。分類精度の誤差が2%未満で、タイミングシミュレーションの実行速度が8×～58×に向上し、効率的なアーキテクチャ探索が可能になった。例えば、符号・絶対値表現は2の補数よりもタイミングエラーを低減でき、同じ精度で18%のエネルギー削減が可能であることが示された。

ABSTRACT

Deep neural networks (DNN) are increasingly being accelerated on application-specific hardware such as the Google TPU designed especially for deep learning. Timing speculation is a promising approach to further increase the energy efficiency of DNN accelerators. Architectural exploration for timing speculation requires detailed gate-level timing simulations that can be time-consuming for large DNNs that execute millions of multiply-and-accumulate (MAC) operations. In this paper we propose FATE, a new methodology for fast and accurate timing simulations of DNN accelerators like the Google TPU. FATE proposes two novel ideas: (i) DelayNet, a DNN based timing model for MAC units; and (ii) a statistical sampling methodology that reduces the number of MAC operations for which timing simulations are performed. We show that FATE results in between 8 times-58 times speed-up in timing simulations, while introducing less than 2% error in classification accuracy estimates. We demonstrate the use of FATE by comparing to conventional DNN accelerator that uses 2's complement (2C) arithmetic with an alternative implementation that uses signed magnitude representations (SMR). We show that that the SMR implementation provides 18% more energy savings for the same classification accuracy than 2C, a result that might be of independent interest.

研究の動機と目的

• Google TPUのような大規模DNNアクセラレータのゲートレベルタイミングシミュレーションは、AlexNetのような最先端のモデルですでに数100時間にのぼるため、その実行時間が非常に長くなる問題に対処する。
• 特に低消費電力設計を念頭に置いたDNNアクセラレータにおけるタイミング予測技術の効率的なアーキテクチャ探索を可能にする。
• 2の補数（2C）と符号・絶対値表現（SMR）の異なるデータ表現が、タイミングエラー率とエネルギー効率に与える影響を比較する。
• 完全なゲートレベルシミュレーションの計算負荷を犠牲にすることなく、スケーラブルで正確かつ高速なシミュレーションフレームワークの開発

提案手法

• FATEは、入力値に基づいて個々のMACユニットの遅延を予測する深層ニューラルネットワークであるDelayNetを導入し、遅延推定のための高コストなゲートレベルシミュレーションに置き換える。
• 統計的サンプリングを適用して、MACユニットの一部（例：シスチールアレイの選択された列）のみをシミュレートし、残りのユニットには観測されたエラー率に従って確率的にタイミングエラーを挿入する。
• 機能的シミュレーションとDelayNetによる遅延予測を組み合わせ、タイミングエラーがDNN推論精度に与える影響を推定する。
• FATEは2つのバージョンをサポートする：FATE-DNN（DelayNetによる遅延予測を用いる）とFATE-Samp（シミュレーション負荷を軽減するためのサンプリングを用いる）、両者とも高速かつ正確なエラーレート推定を可能にする。
• MACユニットが同一であり、入力分布も類似しているという、シスチールアレイアーキテクチャの規則性と一様性を活用する。
• 予測結果を完全なゲートレベルシミュレーションと比較し、分類精度とタイミングエラー率の推定において最小限の誤差で高い正確性を示している。

実験結果

リサーチクエスチョン

• RQ1 大規模DNNアクセラレータのタイミングエラーシミュレーションを、正確性を損なわずにどのように高速化できるか？
• RQ2 特に2の補数と符号・絶対値表現の違いが、DNNアクセラレータのタイミングエラー率とエネルギー効率に与える影響は何か？
• RQ3 学習された遅延モデル（DelayNet）は、DNNワークロードにおける多様な入力パターンにおいて、MACユニットの遅延を正確に予測できるか？
• RQ4 MAC演算の統計的サンプリングによって、シミュレーション時間をどの程度短縮できるか、かつタイミングエラー推定の忠実性は保たれるか？
• RQ5 シスチールアレイベースのDNNアクセラレータにおいて、異なる算術表現を用いたタイミング予測とエネルギー・精度のトレードオフはどのようなものか？

主な発見

• AlexNetのシミュレーション時間を、完全なゲートレベルシミュレーションの384時間から、7～48時間に短縮し、使用するバージョンによって8×～58.57×の高速化を達成した。
• FATEの分類精度推定値は、完全なシミュレーションと2%未満の差異であり、タイミングエラー率の推定値の平均誤差は4.3%～6.17%であった。
• SMRベースのMACユニットは、2Cと比較して小さな重み値において、平均遅延と最大遅延が顕著に低く、LSBのスイッチング活動が減少するためである。
• AlexNetにおいて、SMRベースのアクセラレータは、2Cと同等のエネルギー削減を実現する場合、最大で14.45%高い分類精度を達成した。逆に、同じ精度を維持する場合、2Cと比較して18%のエネルギー削減が可能であった。
• 結果から、SMRは2Cよりもタイミングエラーに対してより耐性があることが示され、低消費電力でタイミング予測を活用するDNNアクセラレータにとって優れた選択肢であることが明らかになった。
• FATEにより、従来では不可能とされていたアーキテクチャ探索（例：ImageNetにおける完全な検証）が、シミュレーション時間の大幅な短縮と高い予測正確性を維持しながら可能になった。