[論文レビュー] A novel channel pruning method for deep neural network compression

Yiming Hu, Siyang Sun+3 more|arXiv (Cornell University)|May 29, 2018

Anomaly Detection Techniques and Applications参考文献 30被引用数 65

ひとこと要約

本論文は、事前学習済みCNNのチャネル剪定手法を遺伝的アルゴリズムに基づいて提案し、層ごとの剪定とヘシアンに基づく適合度評価、および知識蒸留によるファインチューニングを組み合わせることで、最小限の精度低下でコンパクトなモデルを実現する。

ABSTRACT

In recent years, deep neural networks have achieved great success in the field of computer vision. However, it is still a big challenge to deploy these deep models on resource-constrained embedded devices such as mobile robots, smart phones and so on. Therefore, network compression for such platforms is a reasonable solution to reduce memory consumption and computation complexity. In this paper, a novel channel pruning method based on genetic algorithm is proposed to compress very deep Convolution Neural Networks (CNNs). Firstly, a pre-trained CNN model is pruned layer by layer according to the sensitivity of each layer. After that, the pruned model is fine-tuned based on knowledge distillation framework. These two improvements significantly decrease the model redundancy with less accuracy drop. Channel selection is a combinatorial optimization problem that has exponential solution space. In order to accelerate the selection process, the proposed method formulates it as a search problem, which can be solved efficiently by genetic algorithm. Meanwhile, a two-step approximation fitness function is designed to further improve the efficiency of genetic process. The proposed method has been verified on three benchmark datasets with two popular CNN models: VGGNet and ResNet. On the CIFAR-100 and ImageNet datasets, our approach outperforms several state-of-the-art methods. On the CIFAR-10 and SVHN datasets, the pruned VGGNet achieves better performance than the original model with 8 times parameters compression and 3 times FLOPs reduction.

研究の動機と目的

• リソース制約のあるデバイス上でCNNを展開するためのモデル圧縮を動機づける。
• チャネル選択を組合せ最適化問題として扱うチャネル剪定手法を開発する。
• 情報に基づく剪定と効果的なファインチューニングを通じて、精度の劣化を最小限に抑えつつモデルの冗長性を削減する。
• 層ごとの剪定と感度に基づく層別圧縮率、および回復のための知識蒸留を探求する。

提案手法

• 畳み込みカーネルを、チャネル保持決定を表すバイナリ染色体としてエンコードする。
• エリート主義、ルーレットホイール選択、単一点交叉、突然変異を用いた遺伝的アルゴリズムを適用し、チャネルサブセットを探索する。
• 層ごとの誤差近似と2次のテイラー展開に基づく三項の高速・効率的な適合度関数を用いて剪定影響を推定する。
• HessianをH = (1/N) sum_i X_i X_i^Tとして近似し、剪定の感度を計算する。
• 層を逐次剪定し、層の感度を用いて層をグループ化しグループごとに圧縮率を割り当てたのち、知識蒸留を用いたファインチューニングを行う。
• 剪定後のネットワークを教師モデル（元のモデル）とともにファインチューニングし、アテンションマップの整合性を通じて学生学習を導く。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは指数的なチャネル剪定空間を効果的に探索して、大きな精度低下なしにコンパクトなCNNアーキテクチャを特定できるか。
• RQ2 ヘシアン情報を用いた2次の適合度関数は、一階微分やヒューリスティック基準と比べて剪定の効率と最終精度を改善するか。
• RQ3 層ごと（グループ化された）感度ベースの剪定は、CIFAR、SVHN、ImageNet上でのVGGNetとResNetの性能と圧縮のトレードオフにどのように影響するか。
• RQ4 知識蒸留を用いたファインチューニングは、標準的なファインチューニングと比べて剪定後の回復を改善するか。
• RQ5 CNNのバックボーンであるVGGNetとResNetの両方を対象として、複数データセット上で層別逐次削除とその後のファインチューニングが剪定と適合するか。

主な発見

• 提案された遺伝的アルゴリズムによるチャネル剪定手法は、CIFAR-100とImageNetでいくつかの最先端のチャネル選択戦略を上回る。
• CIFAR-10とSVHNでは、剪定されたVGGNetがパラメータとFLOPを大幅に削減しつつ、精度を維持または向上させる。
• 感度グルーピングを伴う層ごとの剪定により、深い層の冗長性が高い場合でも、感度の高い層での精度を保ちつつ積極的な剪定を実現。
• 知識蒸留ベースのファインチューニング（FT-KD）は、特に高圧縮率で標準ファインチューニングよりも明らかな精度向上を提供する。
• 本アプローチは、CIFAR、SVHN、ImageNetを含む複数データドメインで、VGGNetとResNetの両方で効果的な圧縮を示す。