[論文レビュー] Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning

Tien-Ju Yang, Yu‐Hsin Chen+1 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Neural Network Applications参考文献 15被引用数 31

ひとこと要約

この論文では、ハードウェアで測定されたパrameterを用いてエネルギー消費を直接最適化する、エネルギーに配慮したプルーニングアルゴリズムを提案する。出力特徴マップの誤差に基づいて層ごとにフィルタをプルーニングし、閉形式の最小二乗法によるファインチューニングを適用することで、AlexNetでは3.7倍、GoogLeNetでは1.6倍のエネルギー消費削減を達成したが、トップ5の正確度損失は1%未満にとどめた。

ABSTRACT

Deep convolutional neural networks (CNNs) are indispensable to state-of-the-art computer vision algorithms. However, they are still rarely deployed on battery-powered mobile devices, such as smartphones and wearable gadgets, where vision algorithms can enable many revolutionary real-world applications. The key limiting factor is the high energy consumption of CNN processing due to its high computational complexity. While there are many previous efforts that try to reduce the CNN model size or amount of computation, we find that they do not necessarily result in lower energy consumption, and therefore do not serve as a good metric for energy cost estimation. To close the gap between CNN design and energy consumption optimization, we propose an energy-aware pruning algorithm for CNNs that directly uses energy consumption estimation of a CNN to guide the pruning process. The energy estimation methodology uses parameters extrapolated from actual hardware measurements that target realistic battery-powered system setups. The proposed layer-by-layer pruning algorithm also prunes more aggressively than previously proposed pruning methods by minimizing the error in output feature maps instead of filter weights. For each layer, the weights are first pruned and then locally fine-tuned with a closed-form least-square solution to quickly restore the accuracy. After all layers are pruned, the entire network is further globally fine-tuned using back-propagation. With the proposed pruning method, the energy consumption of AlexNet and GoogLeNet are reduced by 3.7x and 1.6x, respectively, with less than 1% top-5 accuracy loss. Finally, we show that pruning the AlexNet with a reduced number of target classes can greatly decrease the number of weights but the energy reduction is limited. Energy modeling tool and energy-aware pruned models available at this http URL

研究の動機と目的

• バッテリー駆動のデバイスに実装されたCNNにおけるモデル圧縮と実際のエネルギー効率のギャップを解消すること。
• モデルサイズやFLOPsではなく、エネルギー消費を直接最適化するプルーニング手法を開発すること。
• エネルギー消費を最小限に抑えつつ正確度を維持することで、モバイルおよびウェアラブルデバイスへのCNNの効率的なデプロイを可能にすること。
• モバイルシステムにおけるCNN推論のための実用的でハードウェアに裏付けられたエネルギー推定モデルの構築

提案手法

• 各層のエネルギー消費をハードウェアで測定したパrameterを用いて推定し、直接的なエネルギーに配慮した最適化を可能にする。
• フィルタの重みの大きさではなく、出力特徴マップの誤差に基づいて層ごとにプルーニングを実行する。
• プルーニング後、各層を閉形式の最小二乗法による解を用いてファインチューニングし、正確度を迅速に回復させる。
• その後、バックプロパゲーションを用いてネットワーク全体をグローバルにファインチューニングし、性能をさらに向上させる。
• モデルサイズの削減よりもエネルギー削減を優先し、実際のモバイルハードウェアから得た独自のエネルギー推定モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 実際のエネルギー消費推定に基づいたプルーニングが、モバイルデバイス上でのCNNデプロイにさらに効率的であるか。
• RQ2 プルーニング中に出力特徴マップの誤差を最小化することで、従来の重みの大きさに基づくプルーニングよりも高いエネルギー効率が得られるか。
• RQ3 段階的プルーニングと閉形式ファインチューニングの組み合わせが、正確度を保持しながらエネルギーを削減するのにどの程度有効であるか。
• RQ4 ターゲットクラス数を減らすと、プルーニングモデルにおけるエネルギー削減にどの程度影響を与えるか。

主な発見

• 提案手法を用いることで、AlexNetのエネルギー消費は3.7倍削減され、トップ5の正確度損失は1%未満にとどまった。
• GoogLeNetでは、高い正確度を維持したままエネルギー消費が1.6倍削減された。
• 従来のプルーニング手法と比較して、エネルギー効率面で優れた性能を示したが、モデルサイズの最小化が行われていなくても同様の効果が得られた。
• ターゲットクラス数を減らしたプルーニングにより重み数は著しく減少したが、エネルギー削減は限定的であったため、クラス数そのものがエネルギー効率を決定づける要因ではないことが示された。
• 閉形式ファインチューニングのステップにより、プルーニング後の正確度回復が迅速に実現され、長時間のトレーニングの必要性が低減した。