[論文レビュー] SQuantizer: Simultaneous Learning for Both Sparse and Low-precision Neural Networks

Mi Sun Park, Xiaofan Xu+1 more|arXiv (Cornell University)|Dec 20, 2018

Advanced Neural Network Applications参考文献 42被引用数 9

ひとこと要約

SQuantizerは、深層ニューラルネットワークにおける重みと活性化のスパarsityおよび低精度量子化（4ビットおよび2ビット）を同時に最適化する共同学習手法を提案する。18×（ResNet18）および17×（ResNet50）の高い圧縮率を達成しながら、1%未満の精度低下を維持し、最先端の精度を実現する。この手法により1パス学習が可能となり、スパース対応ハードウェアでの推論を高速化できる。また、YOLO-v3を用いた物体検出にも一般化され、29×の圧縮率と50.3 mAPを達成する。

ABSTRACT

Deep neural networks have achieved state-of-the-art accuracies in a wide range of computer vision, speech recognition, and machine translation tasks. However the limits of memory bandwidth and computational power constrain the range of devices capable of deploying these modern networks. To address this problem, we propose SQuantizer, a new training method that jointly optimizes for both sparse and low-precision neural networks while maintaining high accuracy and providing a high compression rate. This approach brings sparsification and low-bit quantization into a single training pass, employing these techniques in an order demonstrated to be optimal. Our method achieves state-of-the-art accuracies using 4-bit and 2-bit precision for ResNet18, MobileNet-v2 and ResNet50, even with high degree of sparsity. The compression rates of 18x for ResNet18 and 17x for ResNet50, and 9x for MobileNet-v2 are obtained when SQuantizing both weights and activations within 1% and 2% loss in accuracy for ResNets and MobileNet-v2 respectively. An extension of these techniques to object detection also demonstrates high accuracy on YOLO-v3. Additionally, our method allows for fast single pass training, which is important for rapid prototyping and neural architecture search techniques. Finally extensive results from this simultaneous training approach allows us to draw some useful insights into the relative merits of sparsity and quantization.

研究の動機と目的

• リソース制約のあるエッジデバイス（メモリや計算能力が限られている）に高精度なディープニューラルネットワークを効果的にデプロイする課題に対処すること。
• スパースネスと量子化を逐次的に行う従来手法の限界を克服し、低精度量子化とスパースネスを組み合わせた場合に精度が低下する傾向を是正すること。
• 重みと活性化の両方のスパースネスおよび低精度量子化を同時に最適化する、1段階の効率的な学習手順を開発すること。
• 多様なアーキテクチャ（ResNet18、ResNet50、MobileNet-v2、YOLO-v3など）において、最先端の精度を維持したままモデル圧縮と推論効率を最大化すること。
• スパースネスと量子化の相対的効果および最適な実行順序に関する知見を提供すること。

提案手法

• SQuantizerは、重みと活性化のスパースネスおよび低精度量子化（4ビットおよび2ビット）を1回の学習パスで適用する。微分可能SQuantization操作を用いることで、スパースかつ量子化されたテンソルを介した勾配逆伝播が可能になる。
• 勾配の流れを確保するため、学習可能なしきい値を用いた微分可能なスパースネス化メカニズムとストレートスルー推定器を採用する。
• 初期収束段階での学習プロセスの安定化を図るため、遅延学習スケジュール（Delay = 20エポック）を採用する。
• スパースネスと低精度量子化の両方を共同で最適化するフレームワークであり、スパースネスを量子化の前に行う順序がパフォーマンス面で最適であることが示された。
• 前方伝播では各層の重みと活性化にSQuantizationを適用するが、バックプロパゲーションではフル精度の重みを更新する。
• YOLO-v3とDarknet-53を用いた物体検出タスクへも拡張し、高いmAPを維持しながら高い圧縮率を達成する。

実験結果

リサーチクエスチョン

• RQ1 最大の圧縮率と精度を達成するための、スパースネスと量子化の適用順序として最適なものは何か？
• RQ2 スパースネスと低精度量子化の同時学習は、逐次的な2段階学習に比べて、モデル圧縮率と精度の面で優れているか？
• RQ3 重みと活性化の両方を共同で最適化することで、エッジハードウェア上での最終的なモデルサイズ、推論速度、エネルギー効率にどのような影響を与えるか？
• RQ4 SQuantizerは、多様なアーキテクチャにわたって、4ビットおよび2ビット量子化と高いスパースネスレベルを組み合わせた場合でも、最先端の精度をどの程度維持できるか？
• RQ5 共同SQuantizationアプローチは、画像分類を越えて、物体検出タスクにも効果的に一般化できるか？

主な発見

• 4ビット重みと41%のスパースネスを用いる場合、ResNet18では18×、ResNet50では17×の圧縮率を達成し、精度低下は1%未満である。
• MobileNet-v2では、4ビット重みと32ビット活性化を用いることで、9×の圧縮率を達成し、精度低下はわずか2%にとどまる。
• 2ビット重みと55%のスパースネスを適用した場合、YOLO-v3では29×の圧縮率を達成し、COCOデータセット上で50.3 mAPを維持する（ベースラインから2.5%の低下）。
• 55%のスパースネスを伴う4ビットResNet50を用いる場合、FLOPsが75%削減され（ベースラインの17.6%にまで）、スパースハードウェア上で顕著な計算リソースの節約が確認された。
• ハードウェアプロトタイピングの結果、50%のスパースネスを持つResNet50では、1層あたり約2倍の速度向上が得られ、推論効率の向上が明確に示された。
• 共同最適化により、モデルがオンチップメモリに収まり、外部DRAMへのアクセスを最小限に抑え、エネルギー消費を低減できるようになった。