[論文レビュー] Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM

Sheng Lin, Xiaolong Ma+4 more|arXiv (Cornell University)|May 2, 2019

Advanced Neural Network Applications参考文献 15被引用数 14

ひとこと要約

本稿では、解の妥当性を保証し収束性を向上させるために動的正則化と多-$\rho$更新を活用する、極めて低ビットおよび損失なし重み量子化のための段階的ADMMベースのフレームワークを提案する。MNISTにおける完全2値化で損失なしのLeNet-5（99.21%の精度）、CIFAR-10における完全2値化VGG-16（93.58%）、ImageNetにおける完全2値化ResNet-18（Top-5精度損失5.8%）を達成し、深層ニューラルネットワーク圧縮における完全2値化の新記録を樹立した。

ABSTRACT

Weight quantization is one of the most important techniques of Deep Neural Networks (DNNs) model compression method. A recent work using systematic framework of DNN weight quantization with the advanced optimization algorithm ADMM (Alternating Direction Methods of Multipliers) achieves one of state-of-art results in weight quantization. In this work, we first extend such ADMM-based framework to guarantee solution feasibility and we have further developed a multi-step, progressive DNN weight quantization framework, with dual benefits of (i) achieving further weight quantization thanks to the special property of ADMM regularization, and (ii) reducing the search space within each step. Extensive experimental results demonstrate the superior performance compared with prior work. Some highlights: we derive the first lossless and fully binarized (for all layers) LeNet-5 for MNIST; And we derive the first fully binarized (for all layers) VGG-16 for CIFAR-10 and ResNet for ImageNet with reasonable accuracy loss.

研究の動機と目的

• 既存のADMMベースのDNN重み量子化手法における解の妥当性保証の欠如と、最適解品質の低さを是正すること。
• 問題を複数の段階的ステップに分解することで、重み量子化の探索空間を縮小すること。
• 特にVGG-16 や ResNet のような複雑なモデルにおいても、最小限の精度低下で完全2値化DNN（すべての層）を実現すること。
• 極めて高い圧縮率を達成しつつ、高いモデル精度を維持する、スケーラブルで体系的なフレームワークを構築すること。

提案手法

• 解の妥当性を保証するため、ADMMベースのDNN量子化フレームワークに動的ADMM正則化と量子化重みプロジェクションを統合した。
• 各ステップで探索空間を縮小し、中間結果を再利用することで収束性を向上させる段階的量子化戦略を採用した。
• ADMMにおける多-$\rho$更新を用いて、適応的罰則パラメータ調整により収束を加速し、解の品質を向上させた。
• ADMMの部分問題を繰り返し解く：(1) 重みにおける確率的勾配降下、(2) 量子化レベルへの解析的ユークリッドプロジェクション、(3) 双対変数の更新。
• 正則化最適化問題を適用：$\min f(\{\mathbf{W}_i\}) + \sum_i \frac{\rho_i}{2} \|\mathbf{W}_i - \mathbf{Q}_i + \mathbf{U}_i\|_F^2$ で、モデル精度と量子化忠実度のバランスを図った。
• 事前学習済みの全精度DNNから出発し、各ステップで段階的に層を量子化し、前のステップの量子化結果を次ステップの初期値として再利用した。

実験結果

リサーチクエスチョン

• RQ1 損失関数の非凸性にもかかわらず、ADMMベースのDNN量子化が妥当性と安定性を確保できるか？
• RQ2 ワンショット手法と比較して、段階的で多段階のフレームワークが探索空間を縮小し、量子化品質を向上できるか？
• RQ3 ImageNetのような困難なベンチマークでも、完全2値化DNN（すべての層）を近似損失なしで実現できるか？
• RQ4 完全量子化モデルにおける精度とビット幅削減の観点から、本手法は先行研究の最先端技術を上回っているか？

主な発見

• 提案手法は、MNISTにおける完全2値化で損失なしのLeNet-5を達成し、99.21%のトップ1精度を記録。過去の研究が報告した2.3%の精度損失を上回る。
• CIFAR-10における完全2値化VGG-16は93.58%のトップ1精度を達成。過去の完全2値化手法の81.56%を上回り、3値量子化の94.02%に近づいた。
• ImageNetにおけるResNet-18では、完全2値化で5.8%のTop-5精度損失を達成。大規模モデルにおいても実現可能性を示した。
• 最初と最後の層のみを8ビットに保った場合、2.5%のTop-5精度損失を達成。過去のワンショットADMM（2.9%損失）を上回った。
• 段階的フレームワークは、MNIST、CIFAR-10、ImageNetのベンチマークで一貫して量子化品質と収束速度を向上させた。
• 本手法により、画像認識で初めて知られる完全2値化ResNet-18（ImageNet）が実現可能となり、極端なモデル圧縮分野における新記録を樹立した。