[論文レビュー] Neural Network Quantization for Efficient Inference: A Survey

Olivia Weng|arXiv (Cornell University)|Dec 8, 2021

Neural Networks and Applications被引用数 23

ひとこと要約

本調査は、32ビット浮動小数点から8ビット整数などの低ビット幅にモデル精度を低下させずに効率的な推論を実現するためのニューラルネットワークの量子化技術をレビューする。今後の研究の方向性として、ミックスド・プレシジョン量子化、ハイブリッド量子化方式、および量子化とプルーニング・知識蒸留の統合による最適なハードウェアデプロイメントの向上を提案する。

ABSTRACT

As neural networks have become more powerful, there has been a rising desire to deploy them in the real world; however, the power and accuracy of neural networks is largely due to their depth and complexity, making them difficult to deploy, especially in resource-constrained devices. Neural network quantization has recently arisen to meet this demand of reducing the size and complexity of neural networks by reducing the precision of a network. With smaller and simpler networks, it becomes possible to run neural networks within the constraints of their target hardware. This paper surveys the many neural network quantization techniques that have been developed in the last decade. Based on this survey and comparison of neural network quantization techniques, we propose future directions of research in the area.

研究の動機と目的

• 過去10年間におけるニューラルネットワーク量子化技術の最新の進展を調査すること。
• 量子化推論におけるモデル精度、精度、ハードウェア効率の間のトレードオフを分析すること。
• 精度の低下やハードウェア互換性といった量子化の主な課題を特定すること。
• エッジおよび埋め込みシステムにおける量子化の向上のための今後の研究方向性を提案すること。
• プルーニングや知識蒸留などの他の圧縮技術と量子化を統合することの検討。

提案手法

• 本論文は、過去10年間の100件以上の量子化技術を調査し、精度低減戦略とハードウェア互換性に基づいて分類する。
• Post-training quantization (PTQ)、量子化感知学習 (QAT)、ミックスド・プレシジョンアプローチの使用に基づいて、量子化手法を評価する。
• HAWQ、BSQ、およびダイナミック量子化などの技術が、各レイヤーごとのビット幅と動的範囲を最適化する方法を分析する。
• ステップサイズや動的範囲といった学習可能なパラメータの使用により、精度損失なしにレイヤー固有の量子化を可能にする。
• 整数、固定小数点、カスタムデータ型のサポートを含め、算術要件を評価することでハードウェア効率を測定する。
• 例えば、2の累乗の和と固定小数点の組み合わせなど、量子化方式を組み合わせることで、ハードウェア効率と圧縮率を向上させることを提案する。

実験結果

リサーチクエスチョン

• RQ1 精度を維持しつつモデルサイズと推論遅延を削減するための最も効果的な量子化技術は何か？
• RQ2 深層ニューラルネットワークにおける過剰パラメータ化は、精度の低下を伴わずに顕著な精度低減を可能にする理由は何か？
• RQ3 ハードウェア効率と実装の複雑さという観点から、異なる量子化方式のトレードオフは何か？
• RQ4 カスタムハードウェアアクセラレータ向けに、ミックスド・プレシジョンおよびハイブリッド量子化戦略を最適化する方法は何か？
• RQ5 プルーニングや知識蒸留などの他の圧縮技術と組み合わせた場合の、量子化の最適な組み合わせは何か？

主な発見

• 異なるレイヤーが異なるビット幅を使用するミックスド・プレシジョン量子化は、最小限の精度損失で高い圧縮を達成する。
• 学習可能なステップサイズと動的範囲を用いた量子化感知学習 (QAT) は、学習からの再開や固定量子化方式を上回る性能を示す。
• ビットレベルスパarsity量子化 (BSQ) はビットレベルでのスパarsityを誘発し、従来のミックスド・プレシジョン手法よりも高い圧縮率を達成するが、精度損失は無視できるほど小さい。
• 各レイヤーごとの最適化された小数部ビット数を備えた固定小数点量子化は、整数算術と同等のハードウェア効率を提供するが、まだ十分に調査されていない。
• 最近のFPGAベースの結果から、2の累乗の和と固定小数点の組み合わせといった量子化方式の統合により、より効率的なハードウェアデプロイメントが実現可能である。
• 量子化とプルーニング・知識蒸留の統合には大きな可能性があるが、最適な組み合わせはまだほとんど調査されていない。