[論文レビュー] Compressing Neural Networks using the Variational Information Bottleneck

Bin Dai, Chen Zhu+1 more|arXiv (Cornell University)|Feb 28, 2018

Model Reduction and Neural Networks参考文献 45被引用数 71

ひとこと要約

本論文は、変分情報ボトルネックに基づく剪定を用いた圧縮手法である VIBNet を導入し、精度を保ちながらニューロンを積極的に剪定し、標準ベンチマークで最先端の圧縮を実現します。

ABSTRACT

Neural networks can be compressed to reduce memory and computational requirements, or to increase accuracy by facilitating the use of a larger base architecture. In this paper we focus on pruning individual neurons, which can simultaneously trim model size, FLOPs, and run-time memory. To improve upon the performance of existing compression algorithms we utilize the information bottleneck principle instantiated via a tractable variational bound. Minimization of this information theoretic bound reduces the redundancy between adjacent layers by aggregating useful information into a subset of neurons that can be preserved. In contrast, the activations of disposable neurons are shut off via an attractive form of sparse regularization that emerges naturally from this framework, providing tangible advantages over traditional sparsity penalties without contributing additional tuning parameters to the energy landscape. We demonstrate state-of-the-art compression rates across an array of datasets and network architectures.

研究の動機と目的

• 情報理論的フレームワークを用いて層間の冗長性を対象とした neural network の圧縮を動機付ける。
• スパースで有用なニューロンの使用を促す扱いやすい変分界を開発する。
• 情報伝達が不要な部分を含むニューロンのサブセットをスパースにすることの影響を最小限に抑えつつ、希薄化された有用情報を集中させることを示す。
• VIBNet が最先端手法に対して優れた圧縮を達成することを示す実証的比較を提供する。

提案手法

• KL 発散項とデータ忠実度項を組み合わせた変分情報ボトルネック境界を用いて層ごとの圧縮エネルギーを定式化する。
• p(h_i|h_{i-1}) を学習可能な µ_i, σ_i および fi(h_{i-1}) を用いたガウス分布としてモデル化し、確率的活性化を導入する。
• q(h_i) を Gaussian N(h_i; 0, diag[ξ_i]) としてスパーシティを誘導する；剪定は ξ_i → 0 または対応する α_{i,j} → 0 のときに発生する。
• 1つの圧縮制御パラメータ γ_i を各層ごとに持つ扱いやすい閉形式の KL 制限を導出し、損失を実現する。
• α_{i,j} = µ_{i,j}^2 σ_{i,j}^{-2} による適応的スパース性誘導正則化を定義し、情報伝達が不要な場所で zeros を促進する。
• 確率的なフォワードパスとバックプロパゲーションで学習し、トレーニング後にスパース性指標に基づいてニューロンを剪定する。

実験結果

リサーチクエスチョン

• RQ1 層間の冗長性を有効に識別し剪定する情報ボトルネック風の目的が有効か。
• RQ2 提案手法 VIBNet は既存の剪定法と比較して、最小限の精度低下でより高い圧縮を達成するか。
• RQ3 γ_i という層ごとの圧縮制御が、異なるアーキテクチャやデータセットにおいてスパーシティと性能にどう影響するか。

主な発見

手法	rW（％）	rN（％）	誤差（％）
VD	25.28	58.95	1.8
BC-GNJ	10.76	32.85	1.8
BC-GHS	10.55	34.71	1.8
L0	26.02	45.02	1.4
L0-sep	10.01	32.69	1.8
DN	23.05	57.94	1.8
VIBNet	3.59	16.98	1.6

• VIBNet は MNIST LeNet-300-100 で競合法よりはるかに高い圧縮を達成（rW 3.59%、rN 16.98%、error 1.6%）。
• LeNet-5-Caffe では、VIBNet が最小の FLOPs とランタイムメモリを実現し、精度は競争力がある。
• CIFAR-10/100 の VGG-16 では、VIBNet が複数のプロトコルで強力な圧縮性能を示し、ベースラインを上回ることが多い。
• 本手法は冗長情報を疎なニューロン集合に集約することで intrinsic なスパース性を促進し、効果的な剪定を可能にする。
• 提案された目的は層ごとに1つの調整可能パラメータ（γ_i）のみを必要とし、競合するベイズ/事前分布ベースのアプローチに比べハイパーパラメータ調整を簡素化する。