[論文レビュー] A Statistical Framework for Low-bitwidth Training of Deep Neural Networks

Jianfei Chen, Yu Gai+3 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Neural Network Applications参考文献 39被引用数 14

ひとこと要約

本稿では、低ビット幅学習勾配をフルプレシジョン勾配の不偏な確率的推定器としてモデル化する統計的フレームワークを導入し、勾配量子化分散の理論的分析を可能にする。2つの新規量子化器—パーサンプル量子化器（PSQ）とブロックハウスホルダー量子化器（BHQ）—を提案し、勾配分散を低減。5ビットのResNet-50では、フルプレシジョン学習と比較して0.5%以内の検証精度を達成し、8ビットベースラインと同等の性能を実現。

ABSTRACT

Fully quantized training (FQT), which uses low-bitwidth hardware by quantizing the activations, weights, and gradients of a neural network model, is a promising approach to accelerate the training of deep neural networks. One major challenge with FQT is the lack of theoretical understanding, in particular of how gradient quantization impacts convergence properties. In this paper, we address this problem by presenting a statistical framework for analyzing FQT algorithms. We view the quantized gradient of FQT as a stochastic estimator of its full precision counterpart, a procedure known as quantization-aware training (QAT). We show that the FQT gradient is an unbiased estimator of the QAT gradient, and we discuss the impact of gradient quantization on its variance. Inspired by these theoretical results, we develop two novel gradient quantizers, and we show that these have smaller variance than the existing per-tensor quantizer. For training ResNet-50 on ImageNet, our 5-bit block Householder quantizer achieves only 0.5% validation accuracy loss relative to QAT, comparable to the existing INT8 baseline.

研究の動機と目的

• 完全に量子化された学習（FQT）における理論的理解の欠如、特に勾配量子化が収束に与える影響についての解決。
• FQT勾配をフルプレシジョン勾配の確率的推定器としてモデル化し、バイアスと分散の分析を可能にする。
• 従来のパーセンタイル量子化器と比較して分散を低減する新しい勾配量子化器の設計。
• 5ビット量子化が、ResNet-50で8ビット学習と同等の性能を達成できることの実証。
• エッジデバイスでの効率的かつ低ビット幅学習を可能にするために、精度損失を最小限に抑えること。

提案手法

• 決定的フォワードパスと不偏量子化を仮定し、FQTをQAT勾配の確率的推定器として形式化。
• FQT勾配の一般化された分散式を導出。ビット幅と量子化器タイプが勾配品質に与える影響を示す。
• パーサンプル量子化器（PSQ）を提案。勾配サンプルごとに量子化を適応させることで分散を低減。
• ブロックハウスホルダー量子化器（BHQ）を導入。直交変換を適用して信号を勾配次元全体に分散させ、ダイナミックレンジの問題を軽減。
• バイアスと分散の理論的境界を用いて、低分散量子化器の設計を支援。
• ImageNet（ResNet-50）および機械翻訳（IWSLT14）でエンドツーエンドに量子化器を評価。勾配分散と検証精度を比較。

実験結果

リサーチクエスチョン

• RQ1 FQTにおける勾配量子化は、学習更新のバイアスと分散にどのように影響するか？
• RQ2 単層または凸性といった強い仮定を必要としない統計的フレームワークを、FQTの分析に開発可能か？
• RQ3 異なる量子化器設計（例：パーセンタイル対パーサンプル）は、勾配分散と収束にどのように影響するか？
• RQ4 5ビット勾配量子化は、8ビットまたはフルプレシジョン学習と同等の性能を達成可能か？
• RQ5 BHQ や PSQ といった新規量子化器は、従来のパーセンタイル量子化器と比較して、分散をより効果的に低減できるか？

主な発見

• FQT勾配はQAT勾配の不偏推定器であり、学習率がゼロに近づく条件下で、漸近的収束の同等性が保証される。
• 提案されたブロックハウスホルダー量子化器（BHQ）は、勾配分散を顕著に低減し、ImageNetにおける5ビット学習で精度低下を0.5%以内に抑えることを可能にした。
• ImageNetのResNet-50において、5ビットBHQは76.83%の検証精度を達成。8ビットPTQ（77.40%）と同等で、QATベースライン（77.35%）に近く、ほぼ同等の性能を示した。
• PSQとBHQは、特に低ビット幅において、ベースラインのパーセンタイル量子化器（PTQ）と比較して、より低い勾配分散を達成した。
• 機械翻訳（IWSLT14）において、5ビットBHQはQATと比較してBLEUスコアが1%以内に保たれたが、PTQは5ビットで発散した。これにより、堅牢性が示された。
• このフレームワークにより、理論的根拠に基づいた低ビット幅量子化器の設計が可能となり、層ごとの可変ビット幅や新しいフォーマットへの応用の可能性も示唆された。