[論文レビュー] Dynamic Stripes: Exploiting the Dynamic Precision Requirements of Activation Values in Neural Networks

Alberto Delmás, Patrick Judd+2 more|arXiv (Cornell University)|Jun 1, 2017

Advanced Neural Network Applications参考文献 2被引用数 15

ひとこと要約

Dynamic Stripes は、16個の活性化値のグループごとに必要最小限の精度を検出することで、ディープニューラルネットワークアクセラレータにおけるランタイム精度適応技術を導入し、ビット逐次計算を動的に低減する。層ごとのプロファイリングよりも細かい粒度で可変精度を活用することで、ベースラインの Stripes デザイン比で41%の性能向上を達成し、現代の CNN において DaDianNao より最大3.28倍の高速化を実現した。

ABSTRACT

Stripes is a Deep Neural Network (DNN) accelerator that uses bit-serial computation to offer performance that is proportional to the fixed-point precision of the activation values. The fixed-point precisions are determined a priori using profiling and are selected at a per layer granularity. This paper presents Dynamic Stripes, an extension to Stripes that detects precision variance at runtime and at a finer granularity. This extra level of precision reduction increases performance by 41% over Stripes.

研究の動機と目的

• ストライプスのような DNN アクセラレータにおける固定された層ごとの精度の非効率性、特に動的精度変動の活用が不十分である問題に対処すること。
• 16個の活性化値のグループまで細分化した、ランタイム最適化された精度選択が、性能を顕著に向上させられるかを検討すること。
• 実時間で各活性化値グループごとの最小必要精度（nH および nL）を検出する、ハードウェア・ソフトウェア共同設計の設計と評価を行うこと。
• 動的精度適応の性能を、静的プロファイリングや Pragmatic の1ビット検出などの代替最適化戦略と比較すること。

提案手法

• システムはディスパッチャーを用い、各16個の活性化値グループにおいて、1が立っている最上位ビット（nH）と最下位ビット（nL）を、ORベースの先頭1ビットおよび末尾1ビット検出回路で検出する。
• 4ビットのオフセットエンコーダが nH および nL の値を処理タイルに送信し、nH から始まり nL で終わるビット逐次計算を可能にする。
• 各処理タイルは、nH/nL オフセットによって制御される右ビットシフト回路を備えた変更済みのシリアル内積ユニット（SIP）を用いる。
• 処理タイル間の同期を保証するため、1グループあたりの処理終了を示す End-of-Group（EOG）ラインを、カウンタとコンパレータを用いて信号送出する。
• フル幅のデータパスを必要とせず、グループ単位の精度調整を可能にすることで、面積および帯域幅のオーバーヘッドを最小限に抑える。
• サイクル正確なシミュレータを動的精度検出をサポートするように拡張し、その結果を Stripes および DaDianNao と比較評価した。

実験結果

リサーチクエスチョン

• RQ1 16個の活性化値グループ単位での動的、グループ別精度適応は、DNN アクセラレータにおける層ごとの精度プロファイリングに比べ、顕著な性能向上を達成できるか？
• RQ2 実行時における活性化値の実際の動的精度要件を検出し活用することで、どの程度の性能向上が達成できるか？
• RQ3 動的精度低減は、Pragmatic の1ビット検出や固定精度計算といった代替最適化戦略と比較して、どのように異なるか？
• RQ4 グループレベルでの動的精度検出をサポートするためのハードウェアコストと面積オーバーヘッドはどの程度か？
• RQ5 本手法は、価値に基づく最適化（例：重要でない1ビットを切り捨てる）と効果的に組み合わせられ、さらなる性能向上が可能か？

主な発見

• Dynamic Stripes は、16個の活性化値グループ単位でのグループ別精度適応を可能にすることで、ベースラインの Stripes アクセラレータ比で41%の性能向上を達成した。
• DaDianNao に対するスピードアップは、異なるネットワーク間で1.27倍から3.28倍の範囲にのぼり、幾何平均で2.61倍であった。
• AlexNet では、動的精度と価値ベースの最適化（例：重要でない1ビットを切り捨てる）の組み合わせにより、フルレンジシフト回路を用いて4.83倍のスピードアップを達成した。
• スパースな1ビットを持つ活性化値では、不要なビット逐次演算を排除することで、計算サイクルを削減した。
• ハードウェア拡張は、16個の活性化値グループあたり5本のワイヤ（4本がオフセット、1本が EOG）のみを追加し、面積および帯域幅のオーバーヘッドを最小限に抑えた。
• VGG-S や GoogLeNet などのネットワークでは、動的精度適応により計算サイクルの顕著な削減が可能となり、性能向上が顕著に現れた。