[論文レビュー] Pruning Convolutional Neural Networks for Resource Efficient Inference

Pavlo Molchanov, Stephen Tyree+3 more|arXiv (Cornell University)|Nov 19, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 1,204

ひとこと要約

この論文は畳み込み核のためのテイラー展開ベースの剪定基準を導入し、剪定とファインチューニングを組み合わせてリソース効率の高いCNNを作成し、転移学習タスクと大規模ImageNetで検証し、FLOPsを大幅に削減し、精度低下は控えめ。

ABSTRACT

We propose a new formulation for pruning convolutional kernels in neural networks to enable efficient inference. We interleave greedy criteria-based pruning with fine-tuning by backpropagation - a computationally efficient procedure that maintains good generalization in the pruned network. We propose a new criterion based on Taylor expansion that approximates the change in the cost function induced by pruning network parameters. We focus on transfer learning, where large pretrained networks are adapted to specialized tasks. The proposed criterion demonstrates superior performance compared to other criteria, e.g. the norm of kernel weights or feature map activation, for pruning large CNNs after adaptation to fine-grained classification tasks (Birds-200 and Flowers-102) relaying only on the first order gradient information. We also show that pruning can lead to more than 10x theoretical (5x practical) reduction in adapted 3D-convolutional filters with a small drop in accuracy in a recurrent gesture classifier. Finally, we show results for the large-scale ImageNet dataset to emphasize the flexibility of our approach.

研究の動機と目的

• 転移学習設定における特徴マップの構造的剪定を通じて、CNNの推論コストを削減する動機づけ。
• 剪定のために最も重要でない特徴マップを識別する、勾配ベースの高速な顕性基準を提案する。
• ファインチューニングと剪定を交互に実行することで、FLOPsとメモリを削減しつつ汎化性能を保持できることを示す。
• ImageNetを含む大規模ネットワークとデータセットへ拡張可能で、実際の速度改善を示す。

提案手法

• 剪定を、特徴マップに対して反復的かつ貪欲なプロセスとして定義し、マップをゼロに設定する剪定ゲートを設ける。
• Taylor展開ベースの剪定（Taylor基準）を含む顕性基準を導入し、マップを剪定したときの損失の変化を近似する。
• Taylor基準を、重みの大きさ、活性化、相互情報量、Optimal Brain Damage (OBD) などの代替案と比較する。
• 層間で基準を正規化し、グローバルな剪定判断を可能にする。
• 任意でFLOPs正則化を適用し、計算コストの低い剪定へ偏らせる。
• 剪定をバックプロパゲーションベースのファインチューニングと組み合わせて、精度を維持できることを示す。

実験結果

リサーチクエスチョン

• RQ1 損失変化を最小化しつつネットワークサイズとFLOPsを削減するために、剪定判断をどのように効率的に行えるか。
• RQ2 特に転移学習において、Taylor展開ベースの顕性指標は他の基準より剪定のCNN特徴マップに対して優れているか。
• RQ3 ファインチューニングと剪定を組み合わせた場合の精度と速度への影響が、データセットとアーキテクチャを跨いでどうあるか。
• RQ4 FLOPs-awareな剪定は、多様なプラットフォームで実質的なハードウェア速度改善をもたらし得るか。

主な発見

• Taylor展開ベースの顕性基準（Taylor基準）は、オラクルとの相関が高く、他の基準より剪定性能が良い。
• 剪定基準の層ごとの正規化は、層間の一貫性とグローバルな剪定の効果を改善する。
• Taylor基準を用いた反復的剪定は、精度を保持しつつFLOPsを大幅に削減し、転移学習タスクで他の代替案を上回る。
• ジェスチャー認識の3D-CNNの剪定は、ファインチューニング後に約2.5%の精度低下で約12.6x GFLOPs削減を達成。
• ImageNet規模のネットワークにおいて、Taylorベースの剪定と十分なファインチューニングの組み合わせは、顕著な速度強化と剪定後のトップ-5精度の競争力を提供。
• CPUやGPU環境を含む複数のハードウェア設定で実用的な速度向上を示す。