[論文レビュー] Per-Tensor Fixed-Point Quantization of the Back-Propagation Algorithm

Charbel Sakr, Naresh R. Shanbhag|arXiv (Cornell University)|Dec 31, 2018

Tensor decomposition and applications参考文献 34被引用数 9

ひとこと要約

本論文は、誤差逆伝播法のすべてのコンponents—重み、活性化、勾配、重み蓄積器—に対して、体系的かつ解析的に導出された固定小数点量子化手法を提案する。これにより、深層ニューラルネットワークの完全固定小数点学習が可能になる。CIFAR-10、CIFAR-100、SVHNベンチマークにおいて、完全精度学習の精度を0.56%以内に維持しつつ、各層ごとにほぼ最小限の精度を達成する。計算コスト、表現コスト、通信コストはそれぞれ最大8倍、6倍、4倍まで削減される。

ABSTRACT

The high computational and parameter complexity of neural networks makes their training very slow and difficult to deploy on energy and storage-constrained computing systems. Many network complexity reduction techniques have been proposed including fixed-point implementation. However, a systematic approach for designing full fixed-point training and inference of deep neural networks remains elusive. We describe a precision assignment methodology for neural network training in which all network parameters, i.e., activations and weights in the feedforward path, gradients and weight accumulators in the feedback path, are assigned close to minimal precision. The precision assignment is derived analytically and enables tracking the convergence behavior of the full precision training, known to converge a priori. Thus, our work leads to a systematic methodology of determining suitable precision for fixed-point training. The near optimality (minimality) of the resulting precision assignment is validated empirically for four networks on the CIFAR-10, CIFAR-100, and SVHN datasets. The complexity reduction arising from our approach is compared with other fixed-point neural network designs.

研究の動機と目的

• 深層ニューラルネットワークの真の固定小数点学習のギャップを埋めるために、重み、活性化、勾配、蓄積器のすべてのネットワークコンponentsを固定小数点演算で量子化可能にする。
• 固定小数点誤差逆伝播における量子化ノイズ、動的範囲の不確実性、相互に依存する精度のトレードオフ、学習の不安定性といった課題に取り組む。
• 完全精度学習と統計的に類似するように保証する、解析的根拠に基づく精度割り当て戦略を開発する。
• 動的範囲が事前に不明な場合でも、完全固定小数点学習が実現可能でかつ効率的であることを示す。
• 理論的最小値および既存の固定小数点設計と比較することで、割り当てられた精度の近似的最適性を検証する。

提案手法

• 本手法は、ネットワークテンソルの統計的性質（勾配の空間的分散、正方ヤコビ行列の特異値など）を用いて、各層ごとの精度要件を解析的に導出する。
• 量子化誤差の上限に基づき、各テンソルタイプに必要なビット数を推定するための精度の動的範囲（PDR）モデルを採用する。
• 再トレーニングを必要とせず、ベースラインの完全精度ネットワークから動的範囲と誤差特性を情報として得ることで、精度割り当てを可能にする。
• 量子化ノイズを制御するため、ヤコビ行列の最大特異値と勾配テンソルの分散に基づいて量子化ステップサイズを計算する。
• 各層ごとに、重み、活性化、重み勾配、活性化勾配、重み蓄積器の各テンソルタイプに対して別個のビット幅を割り当てる。
• CIFAR-10、CIFAR-100、SVHNにおける実験的評価を通じて精度割り当てを検証し、収束性と精度の忠実性を確保する。

実験結果

リサーチクエスチョン

• RQ1 誤差逆伝播法のすべてのコンponents—重み、活性化、勾配、蓄積器—を固定小数点演算で量子化しても、学習の収束性や精度が損なわれることなく可能か？
• RQ2 各テンソルタイプに必要な各層ごとの最小ビット幅は何か？ これは完全精度学習と統計的に類似するように保証される。
• RQ3 特に残差ネットワークにおいて、異なるネットワークアーキテクチャにおける各層における精度要件はどのように変化するか？
• RQ4 動的範囲が事前に不明な場合でも、本手法は精度の安定性と正確性を維持しながら、ほぼ最小精度を達成可能か？
• RQ5 本手法による固定小数点学習は、既存の固定小数点および量子化学習手法と比較して、効率性と正確性の点で優れているか？

主な発見

• 提案手法は、CIFAR-10、CIFAR-100、SVHNの全ベンチマークで、完全精度学習と比較して0.56%未満の精度損失を達成する完全固定小数点学習を実現した。
• 精度割り当ては理論的最小値から1ビット以内であり、ビット割り当ての近似的最適性を示している。
• 重みの精度は入力層から出力層に向かって減少するが、活性化勾配と重み蓄積器の精度は深層に向かって増加する。
• 残差ネットワークでは、各層にわたって一様な精度要件を示しており、量子化感度におけるアーキテクチャの不変性が示唆される。
• 本手法は、完全精度学習および既存の固定小数点設計と比較して、計算コストを最大8倍、表現コストを最大6倍、通信コストを最大4倍まで削減した。