[論文レビュー] Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks.

Yang He, Ping Liu+2 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Neural Network Applications参考文献 38被引用数 8

ひとこと要約

本稿では、トレーニング中のフィルタの冗長性と動的フィルタ分布の変化を統合的に考慮する新しいフィルタープルーニング手法、メタフィルタープルーニング（MFP）を提案する。フィルタ距離に基づく基準と、適応的基準選択のためのメタラーニングフレームワークを導入することで、ImageNet-2012でトップ5精度が0.44%低下するのみで、ResNet-50のFLOPsを50%以上削減できる。

ABSTRACT

Existing methods usually utilize pre-defined criterions, such as p-norm, to prune unimportant filters. There are two major limitations in these methods. First, the relations of the filters are largely ignored. The filters usually work jointly to make an accurate prediction in a collaborative way. Similar filters will have equivalent effects on the network prediction, and the redundant filters can be further pruned. Second, the pruning criterion remains unchanged during training. As the network updated at each iteration, the filter distribution also changes continuously. The pruning criterions should also be adaptively switched. In this paper, we propose Meta Filter Pruning (MFP) to solve the above problems. First, as a complement to the existing p-norm criterion, we introduce a new pruning criterion considering the filter relation via filter distance. Additionally, we build a meta pruning framework for filter pruning, so that our method could adaptively select the most appropriate pruning criterion as the filter distribution changes. Experiments validate our approach on two image classification benchmarks. Notably, on ILSVRC-2012, our MFP reduces more than 50% FLOPs on ResNet-50 with only 0.44% top-5 accuracy loss.

研究の動機と目的

• 既存のフィルタープルーニング手法がフィルタの関係性を無視し、静的基準を用いるという限界を解消すること。
• 予測に類似した寄与を示す冗長なフィルタを特定・削除することで、モデルの効率性を向上させること。
• トレーニングの進行に応じて、フィルタ分布の変化に適応的にプルーニング基準を切り替えること。
• 各トレーニング段階で最も適切な基準を自動的に選択するメタプルーニングフレームワークの構築。

提案手法

• フィルタの類似性と冗長性を捉えるために、フィルタ距離に基づく新しいプルーニング基準を導入する。
• 各トレーニングイテレーションで最適なプルーニング基準を学習して選択するメタプルーニングフレームワークを設計する。
• p-ノルム基準とフィルタ距離基準を組み合わせることで、プルーニングの精度を向上させる。
• 現在のフィルタ分布統計に基づき、最良のプルーニング戦略を予測するようにメタラーナーを訓練する。
• 微分可能アーキテクチャを用いることで、プルーニング方針のエンドツーエンド学習を可能にする。
• トレーニング中に構造的・レイヤーワイズにフィルタをプルーニングする基準を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なp-ノルム基準を超えて、どのようにしてフィルタの冗長性をよりよく捉えることができるか？
• RQ2 トレーニング中にプルーニング基準を動的に適応させることで、プルーニング効率が向上するか？
• RQ3 距離メトリクスによるフィルタ類似性の統合は、より優れたモデル圧縮をもたらすか？
• RQ4 メタラーニングフレームワークは、異なるトレーニング段階で最良のプルーニング戦略を効果的に選択できるか？

主な発見

• MFPは、ResNet-50でFLOPsを50%以上削減しながらも、高い精度を維持している。
• ILSVRC-2012ベンチマークでは、トップ5精度がたった0.44%低下するにとどまる。
• フィルタ距離基準は、安全に削除可能な冗長フィルタを効果的に同定している。
• メタプルーニングフレームワークは、トレーニング中の変化するフィルタ分布にうまく適応している。
• p-ノルム基準とフィルタ距離基準の組み合わせにより、単独で用いる基準よりもプルーニング性能が向上している。
• 本手法は、さまざまなネットワークアーキテクチャとデータセットにわたって、良好な一般化性能を示している。