[論文レビュー] Provable Filter Pruning for Efficient Neural Networks

Lucas Liebenwein, Cenk Baykal+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 51被引用数 23

ひとこと要約

この論文は、データに依存する重要度ベースのサンプリングを用いて、冗長なフィルタを特定・削除する、証明可能な効率性を有する畳み込みニューラルネットワーク用フィルタプルーニング手法を提案する。小さなデータバッチを用いてフィルタ感度を計算し、感度に比例する確率でプルーニングすることで、モデルの精度とスパarsityに関する理論的保証を確保する。CIFAR-10における複数のアーキテクチャにおいて、精度、パラメータ削減、FLOP効率の面で、常に最先端の手法を上回る性能を発揮する。

ABSTRACT

We present a provable, sampling-based approach for generating compact Convolutional Neural Networks (CNNs) by identifying and removing redundant filters from an over-parameterized network. Our algorithm uses a small batch of input data points to assign a saliency score to each filter and constructs an importance sampling distribution where filters that highly affect the output are sampled with correspondingly high probability. In contrast to existing filter pruning approaches, our method is simultaneously data-informed, exhibits provable guarantees on the size and performance of the pruned network, and is widely applicable to varying network architectures and data sets. Our analytical bounds bridge the notions of compressibility and importance of network structures, which gives rise to a fully-automated procedure for identifying and preserving filters in layers that are essential to the network's performance. Our experimental evaluations on popular architectures and data sets show that our algorithm consistently generates sparser and more efficient models than those constructed by existing filter pruning approaches.

研究の動機と目的

• リソース制限のあるデバイスへの大規模かつ過パrameter化されたCNNの導入という課題に対処し、効率的でコンパクトなモデル圧縮を可能にする。
• ヒューリスティックに基づくフィルタプルーニング手法の限界を克服し、理論的保証がなく、手動によるハイパーパramータチューニングを要する問題を解決する。
• ネットワーク性能を維持しながらスパarsityを最大化する、完全に自動化されたデータ駆動型プルーニング手順を開発する。
• フィルタの圧縮可能性と重要度の間の理論的バインディングを確立し、証明可能な性能保証を可能にする。
• 標準的なディープラーニングライブラリで高いモデル効率を達成するため、構造的でフィルタプルーニングされたサブネットワークを生成する。

提案手法

• 本手法は、小さなデータバッチを用いて、各フィルタの特徴マップが次の層の出力に与える相対的寄与度（フィルタ感度）として、フィルタの重要度を定義する。
• 各フィルタが感度スコアに比例する確率でサンプリングされるような重要度サンプリング分布を構築し、低分散推定を可能にする。
• この分布からフィルタをサンプリングし、サンプリングされたフィルタのみを保持することで、よりスリムで構造的なサブネットワークを形成する。
• プルーニングプロセスは層ごとに反復的に適用され、その後に再訓練が行われる。これにより、性能を維持するためのプルーニング・リトレインサイクルが形成される。
• 理論的分析により、プルーニングされたネットワークのサイズと一般化誤差に関する証明可能なバインディングが確立され、圧縮可能性とフィルタ重要度が結びつけられる。
• フィルタプルーニングによる構造的スパarsityのおかげで、アーキテクチャに依存せず、標準的なディープラーニングフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックに依存せず、モデルの精度とスパarsityに関する証明可能な保証を提供するフィルタプルーニング手法を設計できるか？
• RQ2 実際のネットワーク出力への影響を反映する、データに依存する、計算的に効率的なフィルタ重要度の定量化方法は何か？
• RQ3 感度ベースのサンプリングを用いて、圧縮可能性と性能に関する理論的バインディングをどの程度確立できるか？
• RQ4 ハイパーパramータフリーで完全に自動化されたプルーニング手順を開発でき、既存手法をスパarsityと精度の両面で上回るか？
• RQ5 感度サンプリングによるフィルタプルーニングは、重みプルーニングやマグニチュードベース手法と比較して、より優れた一般化性能と効率性をもたらすか？

主な発見

• ResNet20では、43.16%のパラメータ削減を達成した一方で、誤差は8.64%を維持し、元のモデルと比較して0.04%の精度低下にとどまった。
• ResNet110では、89.15%のパラメータ削減と86.97%のFLOP削減を達成し、テスト誤差は6.35%にとどまり、元のモデルよりも0.08%優れた性能を示した。
• VGG16では、87.06%のパラメータ削減を達成し、誤差を7.28%から7.17%に低下させ、スパarsityと精度の両面ですべてのベースラインを上回った。
• 評価されたすべてのモデルにおいて、最もスパースなモデルを生成し、テスト誤差も最低であった。一部のケースでは、プルーニング後のモデルが元のモデルを上回る精度を達成した。
• パラメータ削減、FLOP削減、誤差安定性の面で、He et al. (2019) や Li et al. (2016) といった最先端手法を常に上回った。
• 理論的分析により、圧縮可能性が高いかつ感度が低い層（＝低い感度）は、より重要度が低く、効果的なフィルタ保持の優先順位付けが可能であることが確認された。