[論文レビュー] Network Compression via Recursive Bayesian Pruning.

Yuefu Zhou, Ya Zhang+2 more|arXiv (Cornell University)|Dec 2, 2018

Advanced Neural Network Applications参考文献 18被引用数 2

ひとこと要約

本稿では、ドロップアウトに基づくノイズ測定とスパarsity誘導型のデルタ関数に類似した事前分布を用いたベイジアンフレームワークにより、層間チャネルの重複をモデル化する、新しいチャネルプルーニング手法であるRecursive Bayesian Pruning (RBP) を提案する。層間の依存関係を考慮したレイヤー単位のプルーニングを追加の計算コストなしに実現できることで、VGG16ではImageNet上で最大5.0×のFLOPs削減が達成され、精度の低下は最小限に抑えられ、ResNet50では2.2×の削減が達成された。

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

研究の動機と目的

• 冗長チャネル間の層間依存関係によるCNNのチャネルプルーニングのNP困難性に対処する。
• 計算の単純化のため、既存手法が層間依存関係を無視するという限界を克服する。
• チャネルの重複における層間依存関係を反映するために、ノイズをマルコフ連鎖としてモデル化するベイジアンフレームワークを開発する。
• 追加の計算コストなしに事後分布の近似を可能にする、スパarsity誘導型のデルタ関数に類似した事前分布を導入する。
• モデルの精度を維持しながら、顕著にFLOPsを削減する、効果的でレイヤー単位のチャネルプルーニングを実現する。

提案手法

• ベイジアンフレームワーク下での事後分布計算を容易にするために、チャネルの重複をドロップアウトに基づいて測定する手法を提案する。
• プルーニング中に層間の依存関係を明示的に捉えるために、層間ノイズをマルコフ連鎖としてモデル化する。
• ノイズ分布の正則化と、計算不能な事後分布の近似を可能にするために、スパarsity誘導型のデルタ関数に類似した事前分布を導入する。
• 反復的な再訓練やファインチューニングを回避するために、最小限のドロップアウトノイズを用いて冗長チャネルを特定することで、レイヤー単位のプルーニングを可能にする。
• 事前分布と尤度から導出された事後分布を用いて、追加の推論コストなしにプルーニング意思決定をガイドする。
• 冗長性検出とモデル精度の維持のバランスを取るため、ベイジアンフレームワーク内でプルーニングの目的関数を定式化する。

実験結果

リサーチクエスチョン

• RQ1 計算効率を維持しながら、ベイジアンフレームワークがCNNにおける層間チャネルの重複を効果的にモデル化できるか？
• RQ2 ノイズモデルとしてマルコフ連鎖を用いることで、独立したレイヤー単位のプルーニングと比較して、プルーニングの精度と効率がどのように向上するか？
• RQ3 スパarsity誘導型のデルタ関数に類似した事前分布は、計算的に効率的な方法で真の事後分布をどの程度近似できるか？
• RQ4 提案手法は、VGG16 や ResNet50 などの多様なCNNアーキテクチャにおいて、顕著なFLOPs削減を達成しつつ、精度の低下を最小限に抑えることができるか？
• RQ5 多くの既存手法とは異なり、本手法はプルーニング中に追加の訓練やファインチューニングを必要としないか？

主な発見

• 提案されたRBP手法は、ILSVRC2012データセットにおいて、VGG16でわずかな精度損失の範囲で最大5.0×のFLOPs削減を達成した。
• ResNet50では、FLOPsを最大2.2×まで削減しながらも、高いモデル精度を維持した。
• 複雑な層間依存関係をモデル化しても、追加の計算コストなしに効果的なチャネルプルーニングを実現した。
• デルタ関数に類似した事前分布の使用により、効率的な事後分布の近似が可能となり、実世界のCNN圧縮に実用的なベイジアンフレームワークが実現された。
• ドロップアウトに基づく重複測定は、層間依存関係を効果的に捉えており、より正確なプルーニング意思決定を可能にした。
• 標準ベンチマークにおいて、幾つかの最先端のプルーニング手法を上回り、優れた効率性と精度のトレードオフを示した。