[論文レビュー] DropPruning for Model Compression.

Haipeng Jia, Xueshuang Xiang+6 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、精度損なわず深層ニューラルネットワークを圧縮するための新しい反復的モデル圧縮手法であるドロッププルーニングを紹介する。この手法は、重要でない重みを削除する確率的「ドロップアウト」と、 pruning された重みを回復する「ドロップイン」戦略を組み合わせ、スパarsity を動的に管理することで、過学習を抑えるドロップアウトに類似したメカニズムを用いる。VGG-16 における CIFAR-10 では 11.1×、LeNet-5 における MNIST では 14.3× の最先端の圧縮比を達成する。

ABSTRACT

Deep neural networks (DNNs) have dramatically achieved great success on a variety of challenging tasks. However, most of the successful DNNs are structurally so complex, leading to much storage requirement and floating-point operation. This paper proposes a novel technique, named Drop Pruning, to compress the DNNs by pruning the weights from a dense high-accuracy baseline model without accuracy loss. Drop Pruning also falls into the standard iterative prune-retrain procedure, where a \emph{drop} strategy exists at each pruning step: \emph{drop out}, stochastic deleting some unimportant weights and \emph{drop in}, stochastic recovering some pruned weights. \emph{Drop out} and \emph{drop in} are supposed to handle the two drawbacks of the traditional pruning methods: local importance judgment and irretrievable pruning process, respectively. The suitable choosing of \emph{drop} probabilities can decrease the model size during pruning process and lead it to flow to the target sparsity. Drop Pruning also has some similar spirits with dropout, a stochastic algorithm in Integer Optimization and the Dense-Sparse-Dense training technique. Drop Pruning can significantly reducing overfitting while compressing the model. Experimental results demonstrates that Drop Pruning can achieve the state-of-the-art performance on many benchmark pruning tasks, about ${11.1 imes}$ compression of VGG-16 on CIFAR10 and ${14.3 imes}$ compression of LeNet-5 on MNIST without accuracy loss, which may provide some new insights into the aspect of model compression.

研究の動機と目的

• 従来の重みプルーニング手法の限界、例えばローカルな重要度推定と不可逆的なプルーニング意思決定を解消すること。
• プルーニングと再訓練のプロセス中にモデルの過学習を軽減すること。
• 圧縮中にスパarsity を柔軟かつ正確に制御できること。
• 元のモデルの精度を維持しながら高い圧縮比を達成すること。
• ドロップアウトや Dense-Sparse-Dense 訓練といったトレーニング技術と、確率的プルーニングの相乗効果を調査すること。

提案手法

• 重要度スコアに基づいて重みの確率的削除（「ドロップアウト」）と、再び重みを復活させる（「ドロップイン」）を繰り返す、反復的プルーニング・リトレーニングフレームワークを提案する。
• 重要度スコアに基づいて、不必要な接続を削除する確率的重み削除（「ドロップアウト」）を適用する。
• 以前にプルーニングされた重みを再導入するための確率的回復（「ドロップイン」）を用いることで、不可逆的プルーニングのリスクを低減する。
• 適応的ドロップ確率を用いて、ターゲットスパarsity レベルにモデルを導く一方で、精度を維持する。
• ドロップアウトと Dense-Sparse-Dense 訓練の原則を活用し、圧縮中の汎化性能と安定性を向上させる。
• 全過程を通じて高精度のベースラインモデルを維持し、プルーニング後に精度が低下しないようにする。

実験結果

リサーチクエスチョン

• RQ1 重みの除去と回復を含む確率的プルーニング戦略が、精度損なわずモデル圧縮を改善できるか？
• RQ2 「ドロップアウト」と「ドロップイン」の動的な相互作用が、反復的プルーニング中に過学習をどのように軽減するか？
• RQ3 ドロッププルーニングは、標準ベンチマークにおいて、既存手法に比べてより高い圧縮比を達成できるか？
• RQ4 ドロップ確率の選択が、圧縮モデルの収束性とスパarsity にどのように影響するか？
• RQ5 ドロッププルーニングは、ドロップアウトおよび Dense-Sparse-Dense 訓練の汎化利点を圧縮モデルに引き継いでいるか？

主な発見

• ドロッププルーニングは、CIFAR-10 における VGG-16 に対して 11.1× の圧縮を精度損なわず達成した。
• MNIST における LeNet-5 に対しても、元のモデルの精度を維持したまま 14.3× の圧縮を達成した。
• 確率的「ドロップイン」メカニズムにより、不可逆的プルーニング意思決定が効果的に逆転され、モデルの頑健性が向上した。
• ドロッププルーニングは、反復的プルーニングと再訓練プロセス中における過学習を顕著に低減した。
• 複数のベンチマークプルーニングタスクにおいて、最先端の性能を示した。
• ドロップアウトと Dense-Sparse-Dense 訓練の原則を効果的に統合し、モデルの汎化性能を向上させた。