[論文レビュー] HRank: Filter Pruning using High-Rank Feature Map

Mingbao Lin, Rongrong Ji+5 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 36被引用数 11

ひとこと要約

HRankは、特徴マップのランクに基づいてフィルタを削除対象とする、新しいフィルタプリーニング手法を提案する。これは、低ランクの特徴マップを生成するフィルタが情報量が少なく、したがって重要度が低いという経験的観察に基づいている。特徴マップのランクを数学的に定式化し、高ランクのフィルタを固定した部分的ファインチューニングを可能にすることで、最小限の精度低下で最先端の圧縮を達成する。例えば、CIFAR-10でResNet-110に対して58.2%のFLOPs削減と59.2%のパラメータ削減を達成し、トップ-1精度の低下はたった0.14%にとどまる。

ABSTRACT

Neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resource-limited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient network components. In this paper, we propose a novel filter pruning method by exploring the High Rank of feature maps (HRank). Our HRank is inspired by the discovery that the average rank of multiple feature maps generated by a single filter is always the same, regardless of the number of image batches CNNs receive. Based on HRank, we develop a method that is mathematically formulated to prune filters with low-rank feature maps. The principle behind our pruning is that low-rank feature maps contain less information, and thus pruned results can be easily reproduced. Besides, we experimentally show that weights with high-rank feature maps contain more important information, such that even when a portion is not updated, very little damage would be done to the model performance. Without introducing any additional constraints, HRank leads to significant improvements over the state-of-the-arts in terms of FLOPs and parameters reduction, with similar accuracies. For example, with ResNet-110, we achieve a 58.2%-FLOPs reduction by removing 59.2% of the parameters, with only a small loss of 0.14% in top-1 accuracy on CIFAR-10. With Res-50, we achieve a 43.8%-FLOPs reduction by removing 36.7% of the parameters, with only a loss of 1.17% in the top-1 accuracy on ImageNet. The codes can be available at https://github.com/lmbxmu/HRank.

研究の動機と目的

• 既存のフィルタプリーニング手法が、顕著でないコンponentsを特定する理論的指針の欠如により、高い訓練コストと人的労力がかかるという課題に対処すること。
• 特徴マップの固有の性質、特にそのランクに基づいた、学習目的を変更せずにフィルタ削除をガイドする基準を確立すること。
• 高ランクの特徴マップを生成するフィルタを固定することで、ファインチューニングコストを低減すること。これらのフィルタはより重要な情報を含み、重み更新に対して感受性が低い。
• 標準ベンチマークでモデルの精度を保持しつつ、FLOPsおよびパラメータの観点から高い圧縮比を達成すること。

提案手法

• HRankは、複数の入力バッチにわたる各フィルタが出力する特徴マップのランクを分析することで、フィルタの重要度を特定する。
• 1つのフィルタが生成する特徴マップの平均ランクが、入力バッチ数に関係なく一定であるという経験的事実を活用する。
• 低ランクの特徴マップを生成するフィルタは、情報量が少なく、ファインチューニング中に回復しやすいことから、最初にプリーニング対象とする。
• 出力特徴マップの平均ランクに基づいてフィルタをランク付けする数学的定式化を用いることで、追加の制約なしに体系的なプリーニングが可能になる。
• 主なイノベーションの1つは、ファインチューニング中に高ランクの特徴マップを生成する一部のフィルタを固定することであり、これにより訓練時間が著しく短縮され、性能低下は最小限に抑えられる。
• 本手法は訓練後適用され、特徴マップのランクを計算するための前方伝搬は1回のみで済むため、効率的で、標準的なトレーニングパイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 なぜ1つのフィルタが生成する特徴マップの平均ランクが、異なる入力バッチに対して一貫しているのか？
• RQ2 学習目的を変更せずに、特徴マップのランクをフィルタプリーニングの信頼性の高い、理論的根拠のある基準として用いることができるか？
• RQ3 ファインチューニング中に重みを更新しないまま、高ランクの特徴マップをどの程度保持できるのか？ また、これはモデル性能にどのように影響するか？
• RQ4 CIFAR-10およびImageNetにおいて、HRankは最先端のフィルタプリーニング手法と比較して、圧縮比、FLOPs削減、精度保持の観点でどのように差をつけるか？
• RQ5 低ランクの特徴マップに基づいてフィルタをプリーニングする方法と、ランダムまたは逆順のプリーニング戦略とを比較した場合、それぞれの影響は何か？

主な発見

• HRankは、CIFAR-10でResNet-110に対して58.2%のFLOPs削減と59.2%のパラメータ削減を達成し、トップ-1精度の低下はたった0.14%にとどまる。
• ResNet-50では、FLOPsが43.8%削減され、パラメータが36.7%削減され、ImageNetでのトップ-1精度の低下は1.17%にとどまる。
• アブレーションスタディにより、低ランクの特徴マップを生成するフィルタ（HRank）をプリーニングすることが、ランダムまたは逆順プリーニングよりも優れていることが確認され、EdgeおよびReverseバージョンは顕著に劣る性能を示した。
• 高ランクの特徴マップを生成する15–20%のフィルタをファインチューニング中に固定した場合、精度低下はたった0.04%（93.13% vs. 93.17%）に抑えられ、性能への影響は最小限であることが示された。
• HRankは、GAL-1-jointおよびThiNet-50の両方を上回り、精度と圧縮効率の両面で優れた結果を達成しており、FLOPsおよびパラメータの削減を実現しながらも、競争力のある精度を維持した。
• 追加の制約を導入せず、学習損失を変更せずとも、最先端の結果を達成でき、標準的なトレーニングワークフローとの互換性がある。