[論文レビュー] Compact Deep Convolutional Neural Networks With Coarse Pruning

Sajid Anwar, Wonyong Sung|arXiv (Cornell University)|Oct 30, 2016

Advanced Neural Network Applications参考文献 21被引用数 37

ひとこと要約

本稿では、特徴マップおよびカーネルレベルでの粗粒度プルーニングを用いて、複雑なスパース表現を必要とせず、高いスパarsityを実現するコンactな深層畳み込みニューラルネットワークを提案する。プルーニング後のネットワークを微調整することで、CIFAR-10で畳み込み層に85%を超えるスパarsityを達成しつつ、精度の低下が1%未塔に抑えられ、リソース制限のある推論に向けたスケーラビリティと効率性を示している。

ABSTRACT

The learning capability of a neural network improves with increasing depth at higher computational costs. Wider layers with dense kernel connectivity patterns furhter increase this cost and may hinder real-time inference. We propose feature map and kernel level pruning for reducing the computational complexity of a deep convolutional neural network. Pruning feature maps reduces the width of a layer and hence does not need any sparse representation. Further, kernel pruning converts the dense connectivity pattern into a sparse one. Due to coarse nature, these pruning granularities can be exploited by GPUs and VLSI based implementations. We propose a simple and generic strategy to choose the least adversarial pruning masks for both granularities. The pruned networks are retrained which compensates the loss in accuracy. We obtain the best pruning ratios when we prune a network with both granularities. Experiments with the CIFAR-10 dataset show that more than 85% sparsity can be induced in the convolution layers with less than 1% increase in the missclassification rate of the baseline network.

研究の動機と目的

• リソース制限のあるデバイスにおけるリアルタイム推論のための、深く広いCNNの高い計算コストを低減すること。
• 細粒度プルーニングの限界を克服し、構造的でないスパarsityを引き起こし、計算上の利点を得るための複雑なスパース表現を必要とする点。
• パフォーマンス劣化を最小限に抑えるためのシンプルで汎用的なプルーニングマスク選択戦略の開発。
• 特徴マップとカーネルプルーニングを組み合わせることで、個別のプルーニング戦略と比較して優れた圧縮効果とスパarsityを達成できることを示すこと。
• 複雑なスパースデータ構造を回避する粗粒度スパarsityを活用することで、GPUおよびVLSIにおける効率的なデプロイを可能にすること。

提案手法

• レイヤーの幅を減らすために特徴マッププルーニングを適用し、スパース表現の必要性を排除し、直接に薄いネットワークを生成する。
• 密な接続パターンをスパースなものに変換するためにカーネルプルーニングを適用し、1つの畳み込み接続ごとに1つのフラグを用いてシンプルなスパース表現を実現する。
• 特徴マップおよびカーネルレベルの両方において、マグニチュードベースプルーニングに基づく汎用的で最小限の逆効果をもたらすプルーニングマスク選択戦略を提案する。
• プルーニングによるパフォーマンス劣化を回復・維持するために、プルーニング後のネットワークを微調整する。
• 2段階のプルーニングパイプラインを用いる：まず特徴マッププルーニングを適用し、その後にプルーニング済みネットワークに対してカーネルプルーニングを実施することで、スパarsityを最大化し、精度を維持する。
• 複数のネットワークアーキテクチャ（$CNN_{small}$および$CNN_{large}$を含む）を用いて、CIFAR-10およびSVHNデータセット上で評価を行い、精度の予算を制御する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップおよびカーネルレベルでの粗粒度プルーニングは、複雑なスパース表現に依存せずに、高いスパarsityを達成できるか？
• RQ2 特徴マップとカーネルプルーニングの組み合わせは、個別のプルーニング戦略と比較して、スパarsityと精度のトレードオフにおいて優れているか？
• RQ3 シンプルで汎用的なプルーニングマスク選択戦略は、プルーニング中にパフォーマンス劣化を効果的に最小限に抑えることができるか？
• RQ4 提案手法は、さまざまなネットワークアーキテクチャおよびデータセットに対してどれほどスケーラブルか？
• RQ5 導入されたスパarsityは、GPUやVLSIといった標準的なハードウェアプラットフォーム上で計算上の効率性にどのように寄与するか？

主な発見

• 提案手法は、CIFAR-10における$CNN_{small}$ネットワークの畳み込み層で、ベースラインと比較して分類誤り率が1%未満上昇する中で、85%を超えるスパarsityを達成した。
• 特徴マップとカーネルプルーニングを組み合わせることで、最高のプルーニング比が得られ、最終的なプルーニング済みネットワークで75%を超えるスパarsityが達成された。
• $CNN_{large}$ネットワークでは、2つのプルーニング粒度を段階的に適用した場合、Conv2–Conv7層で88%を超えるスパarsityが達成された。
• カーネルプルーニングは特徴マッププルーニングよりも高いスパarsity比を実現でき、一部の層ではカーネルスパarsityが最大70%に達した。
• この手法は他のデータセットに対しても良好に一般化され、SVHNデータセットでも70%を超えるプルーニング比が達成され、同等の精度安定性を示した。
• プルーニング戦略はプラットフォームに依存せず、得られるスパース表現のシンプルさのおかげで、ハードウェアに依存しない高速化が可能である。