[論文レビュー] The ZipML Framework for Training Models with End-to-End Low Precision: The Cans, the Cannots, and a Little Bit of Deep Learning

Hantian Zhang, Li, Jerry+4 more|arXiv (Cornell University)|Nov 16, 2016

Machine Learning and Data Classification参考文献 28被引用数 15

ひとこと要約

ZipMLは、勾配推定バイアスを排除する二重サンプリングを用いたフレームワークを提案し、最小限の精度損失で保証された収束を実現するエンドツーエンドの低精度学習を可能にする。FPGA上で最大6.5倍の高速化と2.7倍のデータ移動削減を達成し、線形および非線形モデルにおいて8ビット精度で収束することがしばしば十分である。

ABSTRACT

Recently there has been significant interest in training machine-learning models at low precision: by reducing precision, one can reduce computation and communication by one order of magnitude. We examine training at reduced precision, both from a theoretical and practical perspective, and ask: is it possible to train models at end-to-end low precision with provable guarantees? Can this lead to consistent order-of-magnitude speedups? We present a framework called ZipML to answer these questions. For linear models, the answer is yes. We develop a simple framework based on one simple but novel strategy called double sampling. Our framework is able to execute training at low precision with no bias, guaranteeing convergence, whereas naive quantization would introduce significant bias. We validate our framework across a range of applications, and show that it enables an FPGA prototype that is up to 6.5x faster than an implementation using full 32-bit precision. We further develop a variance-optimal stochastic quantization strategy and show that it can make a significant difference in a variety of settings. When applied to linear models together with double sampling, we save up to another 1.7x in data movement compared with uniform quantization. When training deep networks with quantized models, we achieve higher accuracy than the state-of-the-art XNOR-Net. Finally, we extend our framework through approximation to non-linear models, such as SVM. We show that, although using low-precision data induces bias, we can appropriately bound and control the bias. We find in practice 8-bit precision is often sufficient to converge to the correct solution. Interestingly, however, in practice we notice that our framework does not always outperform the naive rounding approach. We discuss this negative result in detail.

研究の動機と目的

• 低精度での機械学習モデルの学習を維持しつつ収束保証を達成する課題に対処すること。
• 確率的最適化の過程で、データ、勾配、モデルパラメータの単純な量子化が引き起こすバイアスを克服すること。
• 入力サンプル、勾配、モデル重みのエンドツーエンド量子化を理論的保証とともに可能にするフレームワークの開発。
• 近似誤差を制御するリフェッチヒューリスティックを用いて、SVMのような非線形モデルへのフレームワークの拡張。
• 実世界の応用、特にFPGAプロトタイプとトモグラフィック再構成において、実用的な高速化とデータ移動の削減を実証すること。

提案手法

• 量子化下での相関に起因するバイアスを排除するための新規戦略として二重サンプリングを導入。
• 分散分析を適用し、1サンプルあたりΘ(log n / σ)ビットを用いる場合、エンドツーエンド量子化が全体の分散に定数倍の追加しか与えないことを示す。
• 量子化区間内の誤差を最小化する分散最適な確率的量子化戦略（AdaQuant）を設計。
• 正則化最適化における収束を維持するため、量子化された勾配とモデルパラメータを用いたプロキシマル勾配更新を統合。
• FPGAにフレームワークを実装し、32ビット、16ビット、8ビット、4ビット、2ビットの精度バージョンを評価。
• 非線形モデルでは、量子化値が誤差を引き起こした場合に元のデータを再読み込みするリフェッチヒューリスティックを適用。

実験結果

リサーチクエスチョン

• RQ1 線形モデルのエンドツーエンド低精度学習は、保証された収束を達成できるか？
• RQ2 低精度学習におけるバイアスのない勾配推定を維持するために必要な最小ビット数は何か？
• RQ3 分散最適量子化と均一量子化を比較した場合、データ移動の削減と収束の改善においてどちらが優れるか？
• RQ4 SVMのような非線形モデルへフレームワークを拡張可能か、かつ近似バイアスを制御できるか？
• RQ5 FPGA上での低精度学習は、フル精度実装と比較して顕著な高速化を達成できるか？

主な発見

• 二重サンプリングにより、低精度学習におけるバイアスのない勾配推定が可能となり、フル精度SGDと同一の解に収束することが可能である。
• 線形モデルでは、5〜6ビットの精度で、32ビット精度と同等の収束速度と最終的な訓練損失が達成できる。
• ZipMLを用いたFPGAプロトタイプは、32ビット精度実装と比較して最大6.5倍の高速化を達成し、Hogwild!を実行する10コアCPUと比較しても顕著な高速化を示した。
• トモグラフィック再構成において、フレームワークはデータ移動量を最大2.7倍削減し、品質劣化は無視できる程度であった。
• 線形モデルにおいて、分散最適量子化（AdaQuant）は均一量子化と比較してデータ移動量を1.7倍削減した。
• SVMでは、リフェッチ付き8ビット量子化で再読み込みが必要なデータの割合はわずか6%にとどまり、フル精度と同等のテスト精度と収束速度が達成された。