[論文レビュー] Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM

Shaokai Ye, Xiaoyu Feng+12 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Neural Network Applications被引用数 27

ひとこと要約

本稿では、ADMMを用いた段階的DNN圧縮フレームワークを提案し、最小限の精度損失で超高圧縮率の重みプルーニングおよび量子化を達成する。動的正則化とマスク付き再訓練を繰り返し適用することで、LeNet-5で246×のプルーニングが可能となり、MNIST用LeNet-5およびCIFAR-10用VGG-16で初めての損失なし完全2値化モデルを実現。ResNet-50およびResNet-18においても最先端の結果を達成した。

ABSTRACT

Weight pruning and weight quantization are two important categories of DNN model compression. Prior work on these techniques are mainly based on heuristics. A recent work developed a systematic frame-work of DNN weight pruning using the advanced optimization technique ADMM (Alternating Direction Methods of Multipliers), achieving one of state-of-art in weight pruning results. In this work, we first extend such one-shot ADMM-based framework to guarantee solution feasibility and provide fast convergence rate, and generalize to weight quantization as well. We have further developed a multi-step, progressive DNN weight pruning and quantization framework, with dual benefits of (i) achieving further weight pruning/quantization thanks to the special property of ADMM regularization, and (ii) reducing the search space within each step. Extensive experimental results demonstrate the superior performance compared with prior work. Some highlights: (i) we achieve 246x,36x, and 8x weight pruning on LeNet-5, AlexNet, and ResNet-50 models, respectively, with (almost) zero accuracy loss; (ii) even a significant 61x weight pruning in AlexNet (ImageNet) results in only minor degradation in actual accuracy compared with prior work; (iii) we are among the first to derive notable weight pruning results for ResNet and MobileNet models; (iv) we derive the first lossless, fully binarized (for all layers) LeNet-5 for MNIST and VGG-16 for CIFAR-10; and (v) we derive the first fully binarized (for all layers) ResNet for ImageNet with reasonable accuracy loss.

研究の動機と目的

• ワンショットADMMベースのDNNプルーニングの限界、特に解の非可能性と最適でないプルーニングレートを克服すること。
• ADMMベースの最適化を重み量子化へ拡張し、プルーニングと量子化を統合したフレームワークを実現すること。
• 探索空間を縮小し、超高圧縮率を実現できる段階的・マルチステップ圧縮戦略を開発すること。
• ResNet や MobileNet のような困難なモデルに対し、損失なしまたは近似損失なしの圧縮を達成すること。
• MNIST、CIFAR-10、ImageNet に対して、競争力のある精度を維持しつつ、完全に2値化されたエンドツーエンドDNNモデルを初めて実現すること。

提案手法

• 解の可能性を保証し収束性を向上させるために、動的ADMM正則化と再訓練付きマスクマッピングを導入する。
• ADMM収束を加速し、解の品質を向上させるために、多ρ（multi-ρ）更新を組み込む。
• ADMMフレームワークを一般化し、統一された最適化プロセス内で重みプルーニングと量子化を同時に処理できるようにする。
• 各ステップで直前の結果を初期値として使用する段階的圧縮パイプラインを設計し、探索空間を縮小し、より深い圧縮を可能にする。
• L2ベースのADMM正則化を適用し、より高いプルーニングおよび量子化レートへの段階的改善を可能にする性質を活用する。
• ハイパーパramータを慎重にチューニングし、精度と圧縮比のバランスを取るための段階的圧縮スケジュールを設計する。

実験結果

リサーチクエスチョン

• RQ1 ワンショットプルーニングにおけるADMMベースのDNN圧縮は、解の可能性を保証し収束性を向上させることができるか？
• RQ2 ADMMフレームワークは、統一された最適化フレームワーク内で重みプルーニングと量子化の両方をサポートできるように一般化できるか？
• RQ3 ADMM正則化を活用した段階的・マルチステップ圧縮戦略は、ワンショット手法よりも顕著に高いプルーニングおよび量子化レートを実現できるか？
• RQ4 LeNet-5 や ResNet-50 といった標準的なDNNで、100×以上の超高圧縮率（例：100×以上）を、近似的にゼロの精度損失で達成できるか？
• RQ5 特にImageNet用の複雑なモデル（例：ResNet）において、完全に2値化されたDNN（すべての層）を、最小限の精度低下で実現できるか？

主な発見

• 提案された段階的ADMMフレームワークは、LeNet-5（MNIST）で246×の重みプルーニングを達成し、99.2%の精度を維持。これはベースラインと同等であり、ワンショットADMM（71.2×）や拡張ワンショット（85×）を上回る。
• ImageNet用AlexNetでは、61×のプルーニングを達成し、わずかな精度損失にとどまり、圧縮比と安定性の点で先行研究を大きく上回った。
• MNIST用のLeNet-5で、初めての損失なし完全2値化モデルが達成され、全層で99.21%の精度を維持した。
• CIFAR-10用VGG-16で、初めての損失なし完全2値化モデルが実証され、93.53%の精度を達成。先行手法を10ポイント以上上回った。
• ImageNet用ResNet-18で、初めての完全2値化モデルが達成され、Top-5精度損失は5.8%にとどまり、深層残差ネットワークのエンドツーエンド2値化における重要なマイルストーンとなった。
• AlexNetとResNet-50では、それぞれ36×および8×のプルーニングが、近似的にゼロの精度損失で達成され、より深いモデルへのスケーラビリティを示した。