[論文レビュー] DyVEDeep: Dynamic Variable Effort Deep Neural Networks

Sanjay Ganapathy, Swagath Venkataramani+2 more|arXiv (Cornell University)|Apr 4, 2017

Advanced Neural Network Applications参考文献 1被引用数 5

ひとこと要約

DyVEDeepは、入力の難易度に応じて計算負荷を動的に変化させる入力に依存するアプローチを提案し、深層ニューラルネットワークにおける推論計算を削減する。スパarsityに基づくプルーニング、特徴レベルの近似、レイヤー単位のスキップの3つの効率調整スイッチを用い、CIFAR-10およびImageNetベンチマーク全体で0.5%未満の精度損失で2.1×～2.6×のスカラーオペレーション削減と1.8×～2.3×の高速化を達成する。

ABSTRACT

Deep Neural Networks (DNNs) have advanced the state-of-the-art in a variety of machine learning tasks and are deployed in increasing numbers of products and services. However, the computational requirements of training and evaluating large-scale DNNs are growing at a much faster pace than the capabilities of the underlying hardware platforms that they are executed upon. In this work, we propose Dynamic Variable Effort Deep Neural Networks (DyVEDeep) to reduce the computational requirements of DNNs during inference. Previous efforts propose specialized hardware implementations for DNNs, statically prune the network, or compress the weights. Complementary to these approaches, DyVEDeep is a dynamic approach that exploits the heterogeneity in the inputs to DNNs to improve their compute efficiency with comparable classification accuracy. DyVEDeep equips DNNs with dynamic effort mechanisms that, in the course of processing an input, identify how critical a group of computations are to classify the input. DyVEDeep dynamically focuses its compute effort only on the critical computa- tions, while skipping or approximating the rest. We propose 3 effort knobs that operate at different levels of granularity viz. neuron, feature and layer levels. We build DyVEDeep versions for 5 popular image recognition benchmarks - one for CIFAR-10 and four for ImageNet (AlexNet, OverFeat and VGG-16, weight-compressed AlexNet). Across all benchmarks, DyVEDeep achieves 2.1x-2.6x reduction in the number of scalar operations, which translates to 1.8x-2.3x performance improvement over a Caffe-based implementation, with < 0.5% loss in accuracy.

研究の動機と目的

• リソース制約のあるデバイスにおける深層ニューラルネットワーク（DNN）推論の増大する計算負荷に対処すること。
• すべての入力に対して均一な計算を適用する静的DNNの非効率性を克服すること。
• 入力の多様性（一部の入力は他の入力よりも分類が容易である）を活用し、必要な場所でのみ計算負荷を動的に割り当てること。
• 適応的計算により、スカラーオペレーションと推論時間を顕著に削減しながらも、高い分類精度を維持すること。
• Caffeのような既存のDNNフレームワークとシームレスに統合できるソフトウェアベースで実行効率の高いメカニズムを開発すること。

提案手法

• 異なる粒度で動作する3つの動的効率スイッチ（ニューロンレベル：SPET、特徴レベル：SFMA、レイヤー単位：SDSS）を導入し、計算量を削減する。
• SPETは、活性化分散が低いニューロンを特定し、分類にほとんど寄与しないと仮定してスキップする。
• SFMAは、空間的分散が低い特徴マップを近似することで、情報量が少ない画像領域の計算を削減する。
• SDSSは、初期段階の予測確信度に応じて入力依存で全レイヤーをスキップし、より深いレイヤーの計算を削減する。
• 推論時に実行時意思決定論理を用いて、計算前に入力の特徴を評価し、これらのスイッチを統合する。
• 近似精度と計算削減のバランスを取るために、正規化としきい値処理（例：DelAct_thresh）を適用する。

実験結果

リサーチクエスチョン

• RQ1 入力固有の難易度に基づく動的計算割り当ては、精度を損なわずDNN推論の効率を向上させることができるか？
• RQ2 ニューロン、特徴、レイヤーの異なる粒度での計算削減は、多様なDNNアーキテクチャにおいてスカラーオペレーションの削減にどの程度効果的か？
• RQ3 標準的なDNN推論パイプラインに動的効率メカニズムを統合する際の実行時オーバーヘッドはどの程度か？
• RQ4 DNNにおける計算のスキップや近似に、入力の多様性をどの程度活用できるか、分類性能の劣化なしに？
• RQ5 提案された各スイッチが、異なるネットワークレイヤーとデータセットにおいて、全体の計算削減にどの程度寄与しているか？

主な発見

• DyVEDeepは、CIFAR-10およびImageNetの変種（AlexNet、VGG-16など）を含む5つのベンチマークで、スカラーオペレーションを2.1×～2.6×削減した。
• Caffeベースのベースライン実装と比較して、実行時間は1.8×～2.3×高速化され、精度損失は0.5%未満であった。
• SDSSスイッチが最も大きな貢献を示し（全計算の31%を占める）、次にSPET（19%）、SFMA（7%）であった。
• 深層畳み込みレイヤーでは、活性化分散とスパarsityが高いため、最大2.6倍の高速化が達成された。
• 効率マップの可視化から、DyVEDeepが画像の注目領域に計算を集中させ、高活性化特徴と相関していることが確認された。
• 動的スイッチの実行時オーバーヘッドは、ベースライン推論時間の5%にとどまり、実用的実装の可能性が裏付けられた。