[論文レビュー] Conditional Deep Learning for Energy-Efficient and Enhanced Pattern Recognition

Priyadarshini Panda, Abhronil Sengupta+1 more|arXiv (Cornell University)|Sep 29, 2015

Advanced Neural Network Applications参考文献 17被引用数 7

ひとこと要約

本稿では、畳み込み特徴量に線形ネットワークを用いて早期予測を行うことで、深層ニューラルネットワークにおける計算負荷を動的に調整する条件付きディープラーニング（CDL）を提案する。MNIST分類精度を97.5%から98.9%に向上させるとともに、平均演算回数を1.91倍削減し、エネルギー消費を1.84倍削減した。

ABSTRACT

Deep learning neural networks have emerged as one of the most powerful classification tools for vision related applications. However, the computational and energy requirements associated with such deep nets can be quite high, and hence their energy-efficient implementation is of great interest. Although traditionally the entire network is utilized for the recognition of all inputs, we observe that the classification difficulty varies widely across inputs in real-world datasets; only a small fraction of inputs require the full computational effort of a network, while a large majority can be classified correctly with very low effort. In this paper, we propose Conditional Deep Learning (CDL) where the convolutional layer features are used to identify the variability in the difficulty of input instances and conditionally activate the deeper layers of the network. We achieve this by cascading a linear network of output neurons for each convolutional layer and monitoring the output of the linear network to decide whether classification can be terminated at the current stage or not. The proposed methodology thus enables the network to dynamically adjust the computational effort depending upon the difficulty of the input data while maintaining competitive classification accuracy. We evaluate our approach on the MNIST dataset. Our experiments demonstrate that our proposed CDL yields 1.91x reduction in average number of operations per input, which translates to 1.84x improvement in energy. In addition, our results show an improvement in classification accuracy from 97.5% to 98.9% as compared to the original network.

研究の動機と目的

• 実世界のビジョン応用における深層ニューラルネットワークの高い計算コストとエネルギー消費を低減すること。
• 入力サンプルの分類難易度に顕著な差が存在し、大多数の入力は最小限の計算で分類可能であることを認識すること。
• 精度を損なわずに、容易な入力に対して推論を早期に終了するメカニズムを開発すること。
• 特徴に基づく難易度評価に条件付けたことで、エネルギー効率の良いディープラーニングを実現すること。
• 平均入力あたりの計算演算回数を削減しながら、分類精度を維持または向上させること。

提案手法

• 各畳み込み層に接続された出力ニューロンの段階的線形ネットワークを導入し、入力の難易度を評価する。
• 各線形ネットワークの出力を信頼度信号として用い、次の深層層に進むか、早期に終了するかを決定する。
• 現在の段階での信頼度が信頼できる分類に不十分な場合にのみ、より深い層を条件付きで活性化する。
• 各段階での線形ネットワークの出力を監視し、入力ごとに必要な計算深度を動的に決定する。
• 元の深層ネットワークアーキテクチャを維持しつつ、特徴レベルの信頼度に基づいた早期終了機能を追加する。
• 早期終了の意思決定と最終分類精度の両方を最適化するため、マルチステージ損失関数を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 入力の難易度に基づいて推論深度を動的に調整することで、深層ニューラルネットワークは計算コストとエネルギー消費を低減できるか？
• RQ2 浅い層で推論を早期に終了すると、容易な入力の分類精度が低下するか？
• RQ3 畳み込み特徴量に段階的線形ネットワークを適用することで、性能を損なわずに早期終了を信頼性高く予測できるか？
• RQ4 条件付き推論を用いる際のエネルギー節約と精度向上のトレードオフは何か？
• RQ5 モデルの精度を損なわずに、平均演算回数とエネルギー消費をどれだけ削減できるか？

主な発見

• 提案されたCDLフレームワークは、MNISTデータセットにおいて入力あたりの平均演算回数を1.91倍削減した。
• 早期推論終了のおかげで、標準的な深層ネットワークと比較してエネルギー消費が1.84倍削減された。
• ベースラインネットワークの分類精度97.5%が、CDLモデルでは98.9%に向上した。
• 本手法は、最小限の計算で分類可能な容易な入力を効果的に同定し、難易度の高い入力はより深い層を通過させる。
• 段階的線形ネットワークは、メインネットワークの再訓練なしに、信頼性があり効率的な早期予測のメカニズムを提供する。
• 精度の向上は、訓練中に難易度の高いサンプルに集中することで、モデルがより頑健な特徴を学習する助けになっている可能性を示唆している。