[論文レビュー] Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations

Xinyu Zhang, Ian Colbert+2 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Neural Network Applications参考文献 53被引用数 7

ひとこと要約

本稿では、訓練中に重みと活性化の両方の統合的量子化と非構造的プルーニングを統一的なフレームワークとして提案する。遅延量子化と飽和量子化を導入し、活性化への非構造的プルーニングを拡張することで、プルーニングと量子化の順序が性能に顕著に影響することを示した。これは、最適なトレーニングスケジュールが識別的タスクと生成的タスクで異なることを示唆する非可換性仮説に繋がり、最先端手法と比較してメモリフットプリントあたりの性能が優れている。

ABSTRACT

Quantization and pruning are core techniques used to reduce the inference costs of deep neural networks. State-of-the-art quantization techniques are currently applied to both the weights and activations; however, pruning is most often applied to only the weights of the network. In this work, we jointly apply novel uniform quantization and unstructured pruning methods to both the weights and activations of deep neural networks during training. Using our methods, we empirically evaluate the currently accepted prune-then-quantize paradigm across a wide range of computer vision tasks and observe a non-commutative nature when applied to both the weights and activations of deep neural networks. Informed by these observations, we articulate the non-commutativity hypothesis: for a given deep neural network being trained for a specific task, there exists an exact training schedule in which quantization and pruning can be introduced to optimize network performance. We identify that this optimal ordering not only exists, but also varies across discriminative and generative tasks. Using the optimal training schedule within our training framework, we demonstrate increased performance per memory footprint over existing solutions.

研究の動機と目的

• 深層ニューラルネットワークにおける重みと活性化の両方の統合的最適化のギャップを埋める。
• プルーニングと量子化の適用順序がモデル性能に与える影響を調査し、標準的な「プルーニング→量子化」パラダイムに疑問を呈する。
• 識別的および生成的コンピュータビジョンタスクの両方においてフレームワークを評価する。これは、先行研究において稀である。
• 訓練の安定性を向上させ、初期化に敏感でなくなるようにする新しい量子化技術（遅延量子化と飽和量子化）を開発する。
• 非構造的プルーニングを活性化空間に拡張し、その影響を実証的に評価する。これは、著者らの知る限り、包括的な最初の研究である。

提案手法

• バックプロパゲーション中に重みと活性化の両方に一様量子化と非構造的プルーニングを適用する新しいトレーニングフレームワークを提案する。
• 「遅延量子化」を導入——ストレートスルーエスティメーター（STE）の使用を後期のトレーニングエポックに延期することで、重み初期化への感受性を低減する。
• 「飽和量子化」を導入——トレーニング中に分位数を用いて活性化分布をクリッピングすることで、長尾分布や外れ値の影響を軽減する。
• ZhuとGupta（2017）の非構造的重みプルーニング手法を活性化空間に拡張し、個々の活性化値のプルーニングを可能にする。
• 「プルーニング→量子化」と「量子化→プルーニング」の両方の順序を評価可能な柔軟なトレーニングスケジュールを採用する。
• 重みと活性化の両方のターゲットビット幅とスパarsityを直接制御できる統一フレームワークを採用し、ハードウェア制約下での正確な圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重みと活性化の両方にプルーニングと量子化を適用する場合、その適用順序が深層ニューラルネットワークの性能に影響を与えるか？
• RQ2 重みのみをプルーニングする従来の手法と比較して、活性化の統合的量子化とプルーニングはどのように異なるか？
• RQ3 DNNにおける重みと活性化の両方にプルーニングと量子化を適用する際、プルーニングと量子化の間に非可換な関係があるか？
• RQ4 識別的タスクと生成的タスクの間で、最適なトレーニングスケジュール（プルーニング→量子化対比、量子化→プルーニング）は異なるか？
• RQ5 提案されたフレームワークは、既存の最先端の圧縮技術と比較して、より優れたメモリフットプリントあたりの性能を達成できるか？

主な発見

• 重みと活性化の両方に統合的量子化とプルーニングを適用する際、最適なトレーニングスケジュールは可換ではない。性能はプルーニングと量子化の適用順序に依存する。
• CIFAR10における画像分類といった識別的タスクでは、「プルーニング→量子化」スケジュールが、メモリフットプリントあたりの性能が優れている。
• GANを用いた画像対画像変換といった生成的タスクでは、「量子化→プルーニング」スケジュールが標準的なパラダイムを上回る性能を示した。
• CIFAR10において、提案フレームワークは、既存手法の中で最高のパフォーマンス密度（PD）を達成し、最小のメモリフットプリントと圧縮制約下での最高の精度を実現した。
• 飽和量子化は、長尾分布に起因する影響を効果的に低減し、GANにおけるトレーニングの安定性を向上させた。
• 活性化空間への非構造的プルーニングの拡張は、特にリソース制限のある推論環境において、メモリフットプリントあたりの性能を顕著に向上させた。