[論文レビュー] ApproxDBN: Approximate Computing for Discriminative Deep Belief Networks

Xiaojing Xu, Srinjoy Das+1 more|arXiv (Cornell University)|Apr 13, 2017

Low-power high-performance VLSI design参考文献 11被引用数 3

ひとこと要約

本稿では、近似計算を用いて、エネルギー効率の良い判別型ディープベルヌーイネットワーク（DDBN）の推論を実現するApproxDBNというフレームワークを提案する。臨界性分析を用いて耐性のあるニューロンを同定し、反復的ビット長短縮と段階的再訓練を組み合わせることで、MNIST上で最大90％の電力削減を達成し、精度の低下は10％未満に抑えることができる。

ABSTRACT

Probabilistic generative neural networks are useful for many applications, such as image classification, speech recognition and occlusion removal. However, the power budget for hardware implementations of neural networks can be extremely tight. To address this challenge we describe a design methodology for using approximate computing methods to implement Approximate Deep Belief Networks (ApproxDBNs) by systematically exploring the use of (1) limited precision of variables; (2) criticality analysis to identify the nodes in the network which can operate with such limited precision while allowing the network to maintain target accuracy levels; and (3) a greedy search methodology with incremental retraining to determine the optimal reduction in precision to enable maximize power savings under user-specified accuracy constraints. Experimental results show that significant bit-length reduction can be achieved by our ApproxDBN with constrained accuracy loss.

研究の動機と目的

• モバイル機器およびIoTデバイス向けのディープベルヌーイネットワークのハードウェア実装における高い電力消費を解決すること。
• ニューラルネットワークが内在的に持つ誤差耐性を活用し、変数精度を低下させても精度の著しい低下を防ぐこと。
• 電力消費の削減と精度制約の両立を図る、DDBNの近似を体系的に行う手法を開発すること。
• ユーザーが指定する精度レベルを維持しつつ、ネットワーク変数のビット長分布を最適化して電力消費を最小化すること。

提案手法

• ネットワーク性能への影響を評価するために、フル精度DDBNに対して臨界性分析を実施し、隠れニューロンをその影響度で順序付けする。
• 動的に調整されたしきい値に基づき、臨界性が低いニューロンに対して反復的・グリーディにビット長を短縮する。
• 各近似ステップの後で段階的再訓練を実施し、ネットワーク精度を回復および向上させる。
• さらなる短縮が精度制約に違反するまで、近似－再訓練のサイクルを繰り返す。
• 三段階の反復的フレームワークを採用する：(1) 臨界性順序付け、(2) 動的しきい値を用いたニューロン選択、(3) 渐進的なビット幅短縮。
• ベースラインとしてQ8.8固定小数点表現を用い、選択されたニューロンの変数精度を低ビット長（例：8ビット、4ビット、2ビット）に低下させる。

実験結果

リサーチクエスチョン

• RQ1 生成的・確率的ディープベルヌーイネットワークに対して、変数精度の短縮を体系的に行う方法は何か？ その目的は電力消費を最小限に抑えることである。
• RQ2 DDBNにおけるどのニューロンが精度短縮に対して最も耐性があり、近似の前段階でそれらをどのように同定できるか？
• RQ3 ビット幅短縮後に近似処理の後に再訓練を実施することで、ネットワーク精度をどの程度回復または向上させられるか？
• RQ4 与えられた精度制約を満たしつつ、電力コストを最小限に抑えるために、DDBNパラメータの最適なビット長分布は何か？
• RQ5 臨界性分析と反復的再訓練の組み合わせが、ランダムまたは固定精度の近似戦略に比べて、どのように優れているか？

主な発見

• 臨界性に基づくニューロン選択は、ランダム選択よりも優れており、マルチレイヤDDBNにおいて同じ数のニューロンを近似した場合でも、より高い精度を維持できる。
• 300-200-100 DDBNにおいて、ApproxDBNフレームワークは、ベースラインと比較して合計ビット長を90％削減しながら、90％の精度を達成した。
• 各近似ステップ後に再訓練を実施することで、特に大きな精度短縮が行われた場合に、精度回復が顕著に向上した。
• グリーディで反復的な設計フローにより、6回の反復において合計ビット長が単調に減少し、90％のしきい値を超える精度を維持した。
• MNISTデータセット上で、最大90％の電力削減を達成し、精度の低下は10％未満に抑えられた。これは、強力なエネルギー効率のトレードオフを示している。
• 臨界性分析や再訓練を含まないバージョンと比較して、本手法はより高いビット長短縮と優れた精度保持を達成した。