[論文レビュー] Learning Sparsity and Quantization Jointly and Automatically for Neural Network Compression via Constrained Optimization.

Haichuan Yang, Shupeng Gui+2 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 5

ひとこと要約

本論文は、目標モデルサイズを満たすために、深層ニューラルネットワークのスプライシティと量子化を共同かつ自動的に圧縮する制約付き最適化フレームワークを提案する。圧縮比の手動チューニングが不要となり、CIFAR-10およびImageNetにおいて精度損失なしにResNet-50では836倍、AlexNetでは205倍の重み圧縮を達成する。

ABSTRACT

Deep Neural Networks (DNNs) are applied in a wide range of usecases. There is an increased demand for deploying DNNs on devices that do not have abundant resources such as memory and computation units. Recently, network compression through a variety of techniques such as pruning and quantization have been proposed to reduce the resource requirement. A key parameter that all existing compression techniques are sensitive to is the compression ratio (e.g., pruning sparsity, quantization bitwidth) of each layer. Traditional solutions treat the compression ratios of each layer as hyper-parameters, and tune them using human heuristic. Recent researchers start using black-box hyper-parameter optimizations, but they will introduce new hyper-parameters and have efficiency issue. In this paper, we propose a framework to jointly prune and quantize the DNNs automatically according to a target model size without using any hyper-parameters to manually set the compression ratio for each layer. In the experiments, we show that our framework can compress the weights data of ResNet-50 to be 836$ imes$ smaller without accuracy loss on CIFAR-10, and compress AlexNet to be 205$ imes$ smaller without accuracy loss on ImageNet classification.

研究の動機と目的

• ニューラルネットワーク圧縮における各層のスプライシティ（疎らかさ）とビット幅の圧縮比を手動でチューニングする課題に対処すること。
• 新たなチューニングのオーバーヘッドを生じさせるヒューリスティックまたはブラックボックス型のハイパーパramータ最適化手法への依存を排除すること。
• 精度の低下なしに、目標モデルサイズに自動的かつエンドツーエンドでDNNを圧縮すること。
• 統一された最適化フレームワークを通じて、スプライシティと量子化の両方の高圧縮比を同時に達成すること。

提案手法

• マグニチュードベースのスプライシティとトレーニング後量子化を共同で最適化する制約付き最適化問題を定式化すること。
• 勾配ベース最適化を可能にするために、スプライシティと量子化の制約の微分可能リラクゼーションを導入すること。
• ラグランジュリラクゼーションを用いて、モデルの精度と圧縮比のトレードオフをバランスすること。
• 目標モデルサイズ制約に基づき、各層ごとにスプライシティと量子化レベルを自動的に調整すること。
• 反復的なハイパーパramータサーチを必要とせず、1回のエンドツーエンドトレーニングループ内で最適化フレームワークを適用すること。
• 勾配更新を活用して、各層における最適なスプライシティパターンと量子化ビット幅を同時に学習すること。

実験結果

リサーチクエスチョン

• RQ1 圧縮比の手動チューニングなしに、スプライシティと量子化を統合的に自動化できるか？
• RQ2 制約付き最適化フレームワークは、モデル精度を保持したまま高い圧縮比を達成できるか？
• RQ3 既存のヒューリスティックまたはブラックボックス型ハイパーパramータチューニング手法と比較して、本手法は効率性と精度の面でどのように優れているか？
• RQ4 本フレームワークは、標準ベンチマークにおいてResNet-50とAlexNetをどの程度の圧縮率まで精度損失なしに圧縮できるか？

主な発見

• 提案されたフレームワークは、CIFAR-10でResNet-50の重みを836倍に圧縮し、精度損失なしに実現した。
• ImageNetでAlexNetは205倍に圧縮され、精度の低下なしに実現した。
• スプライシティやビット幅を各層ごとに手動で設定する必要がなく、高い圧縮が達成された。
• ハイパーパramータチューニングやブラックボックス最適化の必要性が排除され、効率性が向上した。
• スプライシティと量子化の統合的最適化は、逐次的またはヒューリスティックな手法と比較して、優れた圧縮効率を示した。
• 制約付き最適化アプローチにより、目標モデルサイズに基づいた自動的な層ごとの圧縮比割り当てが可能になった。