[論文レビュー] Accelerate CNN via Recursive Bayesian Pruning

Yuefu Zhou, Ya Zhang+2 more|arXiv (Cornell University)|Dec 2, 2018

Advanced Neural Network Applications参考文献 44被引用数 4

ひとこと要約

本稿では、ドロップアウトノイズを層間のマルコフ連鎖として扱うことで層間依存性をモデル化する、階層的ベイジアンチャネルプルーニング手法であるRecursive Bayesian Pruning (RBP) を提案する。この手法により、追加のオーバーヘッドなしに効率的でデータ駆動のプルーニングが可能となる。RBPはVGG16で最大5.0×のFLOPs削減を達成し、ImageNet上でわずか2.2%のトップ-5精度低下を伴う。ResNet50では2.2×のFLOPs削減を実現する。

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

研究の動機と目的

• CNNにおけるチャネルプルーニングの課題に取り組む。特に、層間依存性が冗長性の特定を複雑にする点に焦点を当てる。
• 異なる層間でチャネルが独立であると仮定する従来のベイジアンプルーニング手法の限界を克服する。
• 計算コストの増加を伴わずに層間依存性を捉えるプルーニングフレームワークを開発する。
• スパarsity誘導型事前分布を用いたベイジアン推論に基づく、効率的で階層的プルーニングを可能にする。
• プルーニング後の高速微調整によりモデル性能を維持することで、モデルの高速化とデータ適合性のバランスを図る。

提案手法

• ドロップアウトノイズを層間のマルコフ連鎖としてモデル化し、ベイジアンフレームワーク内で層間依存性を符号化する。
• ドロップアウトノイズの分布を正則化し、計算不能な事後分布を近似するために、ディラック型のスパarsity誘導型事前分布を導入する。
• ディラック型事前分布を用いた変分推論により、ほぼゼロのドロップアウト率を示すチャネルを同定する。
• 推論されたドロップアウト率に基づき、追加の推論コストなしに層ごとに順次プルーニングを実行する。
• 再パラメータライゼーションテクニックを活用し、データ適合性を向上させ、プルーニング後の高速微調整を可能にする。
• 最初の層から順に再帰的に適用することで、特徴マップ分布の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンプルーニングにおいて、チャネルの冗長性に伴う層間依存性を効果的にモデル化する方法は何か？
• RQ2 追加の計算コストを負担せずに、閉形式の事後分布近似を達成できるか？
• RQ3 ドロップアウトノイズをマルコフ連鎖としてモデル化することで、独立なチャネル仮定と比較して、プルーニング精度とモデル効率が向上するか？
• RQ4 提案手法は、大規模データセット上でFLOPsをどの程度削減できるか？ また、精度を維持できるか？
• RQ5 VGG16 や ResNet50 といった異なるアーキテクチャにおいて、さまざまなプルーニング比の下で、本手法の性能はどの程度か？

主な発見

• RBPは、VGG16で最大5.0×のFLOPs削減を達成し、ImageNet上でのトップ-5精度はわずか2.2%低下する。
• ResNet50では、FLOPsを2.2×まで削減し、トップ-5精度は2.9%低下する。深層ネットワークにおいても強力な高速化を実現している。
• 再帰的バージョンであるRRBPは、RBPの3,824チャネルより多い4,000チャネルを削除し、より優れた均一性とロバストネスを示している。
• RRBPは微調整段階でより速い収束を達成し、ResNet50-RRBPは7エポック目までに性能を回復させた。
• ResNet50の最終残差ブロックにおけるドロップアウト率は、0または1から離れていることから、プルーニングに対して感受性が高いことが示され、実験的観察と整合的である。
• 本手法はプルーニング後も高いデータ適合性を維持しており、数エポックの微調整で迅速に性能回復が可能である。