[論文レビュー] Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training

Ian Taras, Dylan Malone Stuart|arXiv (Cornell University)|Jan 25, 2018

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文では、ニューラルネットワーク学習中に固定小数点表現の小数ビット幅を動的に調整するために、量子化誤差をフィードバック指標として用いる動的精度スケーリング（DPS）アルゴリズムを提案する。確率的丸めとリアルタイムの量子化誤差およびオーバーフロー率に基づく動的ビット幅調整を組み合わせることで、MNISTで98.8％のテスト精度を達成した。これは32ビット浮動小数点学習と同等の性能でありながら、計算コストを顕著に低減している。

ABSTRACT

Recent work has explored reduced numerical precision for parameters, activations, and gradients during neural network training as a way to reduce the computational cost of training (Na & Mukhopadhyay, 2016) (Courbariaux et al., 2014). We present a novel dynamic precision scaling (DPS) scheme. Using stochastic fixed-point rounding, a quantization-error based scaling scheme, and dynamic bit-widths during training, we achieve 98.8% test accuracy on the MNIST dataset using an average bit-width of just 16 bits for weights and 14 bits for activations, compared to the standard 32-bit floating point values used in deep learning frameworks.

研究の動機と目的

• 数値精度を最小限に抑えることでディープラーニング学習の計算コストを低減すること。
• 重み、活性化、勾配の精度を低下させた場合の学習安定性と収束性の維持という課題に対処すること。
• リアルタイムの誤差指標に基づいて学習中にビット幅を動的に調整する戦略を開発すること。
• 量子化誤差が固定小数点表現における小数ビット幅の動的調整に信頼できるヒューリスティックとして機能するかを検証すること。

提案手法

• 本手法は、浮動小数点値を可変精度の固定小数点形式に偏りのない量子化を保証するための確率的固定小数点丸めを用いる。
• 学習の各イテレーションごとに、整数部長さ（IL）と小数部長さ（FL）を動的に調整する。
• オーバーフロー率が閾値を超えた場合（R > R_max）、ILを増加させる。平均量子化誤差が閾値を超えた場合（E > E_max）、FLを増加させる。
• 量子化誤差はパcent単位で計算される：E_% = |x_out - x_in| / |x_in| × 100。これはFL調整のフィードバック信号として用いられる。
• ILとFLを独立して変更可能な動的ビット幅表現を採用することで、固定総ビット幅方式に内在するトレードオフを回避する。
• 前向きおよび後ろ向き伝搬の両方で動的固定小数点量子化をエミュレートするために、カスタムCaffeレイヤーを用いて実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 量子化誤差は、ニューラルネットワーク学習中に小数ビット幅を動的に調整するための信頼できる指標として機能するか？
• RQ2 量子化誤差およびオーバーフロー率に基づく動的精度スケーリングは、ビット幅を低減しながらモデルの精度を維持できるか？
• RQ3 動的ビット幅調整を伴う低精度学習は、MNISTなどの標準ベンチマークで収束性と高い精度を達成できるか？
• RQ4 提案されたDPS手法は、固定精度ベースラインおよび先行の動的スケーリング手法と比較して、精度およびビット幅効率の面で優れているか？

主な発見

• 提案されたDPSアルゴリズムは、重みの平均16ビット、活性化の平均14ビットを用いてMNISTデータセットで98.8％のテスト精度を達成した。これは32ビット浮動小数点学習と同等の性能である。
• 本手法は、固定13ビット精度ベースラインが収束に失敗するのとは異なり、学習の安定性と収束性を効果的に維持した。
• 重みと活性化の平均ビット幅は、標準の32ビット精度と比較して顕著に低減された（それぞれ16ビットおよび14ビット）。
• 勾配のビット幅は高い（32ビットに近い）まま維持された。これは収束に最も高い精度を要するためであり、ネットワーク部品ごとの精度要件の違いを示している。
• DPSにおける学習損失は、完全精度ベースラインよりもわずかに高い。これは低精度化が正則化効果を及ぼす可能性を示唆しているが、大規模モデルにおける検証は今後の課題である。