[論文レビュー] Automated Model Compression by Jointly Applied Pruning and Quantization

Wenting Tang, Xingxing Wei+1 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Neural Network Applications参考文献 30被引用数 5

ひとこと要約

本稿では、階層的強化学習を用いて、層のスパarsityとチャネル固有のビット幅を同時に最適化することで、統合されたミックス・プレシジョン・量子化問題として、プリューニングと量子化を共同で最適化する自動モデル圧縮フレームワークAJPQを提案する。プリューニングを0ビット量子化として扱うことで、AJPQは優れた圧縮効率と性能を達成し、モデルサイズを5倍以上小さくし、FLOPsを2倍に削減しながら、精度の低下を最小限に抑える。これは、AMC+HAQのような逐次的手法を上回る性能を発揮する。

ABSTRACT

In the traditional deep compression framework, iteratively performing network pruning and quantization can reduce the model size and computation cost to meet the deployment requirements. However, such a step-wise application of pruning and quantization may lead to suboptimal solutions and unnecessary time consumption. In this paper, we tackle this issue by integrating network pruning and quantization as a unified joint compression problem and then use AutoML to automatically solve it. We find the pruning process can be regarded as the channel-wise quantization with 0 bit. Thus, the separate two-step pruning and quantization can be simplified as the one-step quantization with mixed precision. This unification not only simplifies the compression pipeline but also avoids the compression divergence. To implement this idea, we propose the automated model compression by jointly applied pruning and quantization (AJPQ). AJPQ is designed with a hierarchical architecture: the layer controller controls the layer sparsity, and the channel controller decides the bit-width for each kernel. Following the same importance criterion, the layer controller and the channel controller collaboratively decide the compression strategy. With the help of reinforcement learning, our one-step compression is automatically achieved. Compared with the state-of-the-art automated compression methods, our method obtains a better accuracy while reducing the storage considerably. For fixed precision quantization, AJPQ can reduce more than five times model size and two times computation with a slight performance increase for Skynet in remote sensing object detection. When mixed-precision is allowed, AJPQ can reduce five times model size with only 1.06% top-5 accuracy decline for MobileNet in the classification task.

研究の動機と目的

• 深層ニューラルネットワークの圧縮において、逐次的なプリューニングと量子化の性能が最適でないことと、時間コストの高さを解消すること。
• プリューニングを0ビットのチャネル単位の量子化として再解釈することで、ネットワークのプリューニングと量子化を1つの統合最適化問題に統合すること。
• 人為的介入を最小限に抑え、階層的強化学習を用いて、グローバルに最適な圧縮戦略の探索を可能にすること。
• 1つの統一されたパイプライン内で、層のスパarsityとチャネルのビット幅を共同最適化することで、圧縮効率の向上と精度の保持を図ること。

提案手法

• プリューニングを0ビットのチャネル単位の量子化として再定式化し、スパarsityとビット幅の最適化を1つのミックス・プレシジョン・量子化問題として統合する。
• 層コントローラ（連続空間におけるスパarsityの決定）とチャネルコントローラ（各チャネルのビット幅選択）を備えた階層的強化学習アーキテクチャを設計する。
• 各層の保持率を最適化するために、Deep Deterministic Policy Gradient (DDPG) を用いて層コントローラを学習する。
• 両コントローラに同一の重要度基準を適用することで、層とチャネルの間で一貫性があり協調的な圧縮意思決定を保証する。
• サイズ制約やFLOP制約に違反する計画をペナルティ化し、性能の維持を奨励する報酬関数を実装することで、効率的な探索を可能にする。
• 2段階の探索を実施：まず、層コントローラがどのチャネルを保持するかを決定し、その後、チャネルコントローラが残りのチャネルにビット幅を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 プリューニングと量子化を、圧縮効率の向上を図るために、1つの最適化問題として効果的に統合できるか？
• RQ2 スパarsityとビット幅選択の共同最適化は、逐次的手法よりも優れたモデル圧縮を実現し、性能の低下を抑えられるか？
• RQ3 階層的強化学習は、層とチャネルにまたがる大規模なミックス・プレシジョン設定の探索空間を効果的に探索できるか？
• RQ4 提案された報酬関数は、既存のものと比較して、効率的かつ正確な圧縮探索を導く上で優れているか？
• RQ5 提案された層選択戦略（大きな層から優先）は、既存の戦略（深層から優先）よりも圧縮効果に優れているか？

主な発見

• スカイネット（遠隔センシング画像認識）において、AJPQはモデルサイズを5倍以上小さくし、FLOPsを2倍に削減しながら、トップ5精度が0.001%向上した。
• 画像分類のMobileNetにおいて、AJPQはミックス・プレシジョン・量子化下でモデルサイズを5倍に縮小し、トップ5精度が1.06%低下した。
• スカイネットでは、AJPQがFLOPsを0.744倍に削減し、精度が0.001%向上した。これは、AMC+HAQを両方の指標で上回った。
• 階層的AJPQフレームワークにより、1ステップ圧縮が可能になったため、逐次的なAMC+HAQパイプラインと比較して、時間消費量がほぼ半減した。
• AJPQの「大きな層から優先」の層選択ルールは、HAQの「深層から優先」ルールよりもトップ1精度が0.09高く、モデルサイズの縮小率が0.004大きい。
• 提案された報酬関数は、非実行可能な圧縮計画を効果的にフィルタリングし、探索ノイズを低減することで、AMCやHAQよりも収束が速く、性能が優れた。