[論文レビュー] AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference

Jian-Hao Luo, Jianxin Wu|arXiv (Cornell University)|May 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 34

ひとこと要約

AutoPruner は、フィルタープルーニングとモデルのファインチューニングを統合したエンド・ツー・エンドで学習可能なフィルタープルーニング手法を提案する。微分可能でバイナリコードを生成するレイヤーを用いて、重要でないフィルタを自動的に同定・削除する。ImageNet および CUB200-2011 データセットにおいて、従来手法よりも高い圧縮比で最先端の精度を達成し、学習から再び開始した場合でさえも優れている。

ABSTRACT

Channel pruning is an important family of methods to speed up deep model's inference. Previous filter pruning algorithms regard channel pruning and model fine-tuning as two independent steps. This paper argues that combining them into a single end-to-end trainable system will lead to better results. We propose an efficient channel selection layer, namely AutoPruner, to find less important filters automatically in a joint training manner. Our AutoPruner takes previous activation responses as an input and generates a true binary index code for pruning. Hence, all the filters corresponding to zero index values can be removed safely after training. We empirically demonstrate that the gradient information of this channel selection layer is also helpful for the whole model training. By gradually erasing several weak filters, we can prevent an excessive drop in model accuracy. Compared with previous state-of-the-art pruning algorithms (including training from scratch), AutoPruner achieves significantly better performance. Furthermore, ablation experiments show that the proposed novel mini-batch pooling and binarization operations are vital for the success of filter pruning.

研究の動機と目的

• 既存のフィルタープルーニング手法が、プルーニングとファインチューニングを別々で処理するという制限を解決すること。
• ファインチューニングが、プルーニングを学習プロセスに統合することで、フィルタ選択を支援できるかどうかを検討すること。
• モデルの精度とフィルタープルーニングを同時に最適化する、学習可能でエンド・ツー・エンドのフレームワークを開発すること。
• 適応的圧縮比と高精度を維持したまま、複数層のプルーニングを可能にすること。
• 勾配フローを介した自動的かつ一貫性のあるフィルタープルーニングが、モデルの効率性と性能を向上させることを示すこと。

提案手法

• 特徴マップを入力とし、プルーニングすべきフィルタを示す C次元のバイナリコードを出力する、微分可能で学習可能なレイヤーとして AutoPruner を導入する。
• 出力の段階的バイナリ化を可能にするために、学習可能な温度パラメータ α を持つ新しいスケーリングシグモイド関数を採用し、訓練中にソフトからハードへのプルーニングを実現する。
• ミニバッチプーリングとマックスプーリングを用いて、バッチ全体の活性化統計を要約し、異なる入力に対して一貫したフィルタ重要度スコアを保証する。
• スパarsity誘導型の損失関数を適用し、バイナリコードが事前に定義された圧縮比に収束するよう促進するとともに、ネットワークが実際のスパarsityを適応的に決定できるようにする。
• 勾配がチャネル選択レイヤーから以前の層へ戻るエンド・ツー・エンドの訓練を可能にし、特徴学習とプルーニング精度の両方を向上させる。
• 複数の畳み込み層に同時に AutoPruner レイヤーを適用することで、複数層のプルーニングを可能にし、訓練コストを削減し、効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フィルタープルーニングとモデルのファインチューニングを一つのエンド・ツー・エンドで学習可能なフレームワークに統合することで、モデルの精度と圧縮効率が向上するか？
• RQ2 チャネル選択レイヤーからの勾配情報が、初期の畳み込み層の学習を向上させるか？
• RQ3 提案手法は、高圧縮比を維持したまま、学習から再び開始した場合よりも優れた性能を達成できるか？
• RQ4 異なる入力バッチ間でバイナリインデックスコードの一貫性が、プルーニングの信頼性とモデル精度に与える影響は？
• RQ5 新規のミニバッチプーリングとバイナリゼーション操作が、安定的かつ効果的なフィルタープルーニングを可能にする役割は何か？

主な発見

• AutoPruner は、CUB200-2011 および ImageNet データセットの両方で、SOTA のフィルタープルーニング手法を上回り、同程度またはより高い圧縮比で高いトップ-1精度を達成している。
• ResNet-50 を用いた ImageNet では、74.76% のトップ-1精度を達成し、180エポックで学習を再開した場合の 73.90% を上回っている。
• FLOPs が同程度の条件下で、SSS よりも2%高いトップ-1精度を達成しており、SSS が完全な残差ブロックをプルーニングしているにもかかわらず、依然として優れている。
• アブレーションスタディの結果、ミニバッチプーリングと適応的シグモイドバイナリゼーションの組み合わせが不可欠であることが確認された。α を除去するかプーリングを除去すると、性能が著しく低下する（例：α を除いた場合、9.154% の精度）。
• 異なる入力バッチ間で生成されたバイナリインデックスコードは一貫しており、0とマークされたフィルタは性能劣化を伴わずに安全にプルーニング可能である。
• AutoPruner レイヤーからの勾配フローにより、初期層の学習が向上し、プルーニングとファインチューニングの相互利益が示された。