[論文レビュー] ZipML: An End-to-end Bitwise Framework for Dense Generalized Linear Models.

Hantian Zhang, Kaan Kara+4 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Neural Network Applications被引用数 10

ひとこと要約

ZipML は、データ、モデル、勾配の各成分に最小2ビットで、密度型一般線形モデルの学習をエンドツーエンドビット単位で行うフレームワークを導入する。16倍の圧縮を入力、勾配、モデルで実現しながら収束性と正確性を維持し、特定の量子化戦略のもとで8ビットや6ビット精度でも安定した学習が可能である。

ABSTRACT

We present ZipML, the first framework for training dense generalized linear models using end-to-end low-precision representation--in ZipML, all movements of data, including those for input samples, model, and gradients, are represented using as little as two bits per component. Within our framework, we have successfully compressed, separately, the input data by 16x, gradient by 16x, and model by 16x while still getting the same training result. Even for the most challenging datasets, we find that robust convergence can be ensured using only an end-to-end 8-bit representation or a 6-bit representation if only samples are quantized. Our work builds on previous research on using low-precision representations for gradient and model in the context of stochastic gradient descent. Our main technical contribution is a new set of techniques which allow the training samples to be processed with low precision, without affecting the convergence of the algorithm. In turn, this leads to a system where all data items move in a quantized, low precision format. In particular, we first establish that randomized rounding, while sufficient when quantizing the model and the gradients, is biased when quantizing samples, and thus leads to a different training result. We propose two new data representations which converge to the same solution as in the original data representation both in theory and empirically and require as little as 2-bits per component. As a result, if the original data is stored as 32-bit floats, we decrease the bandwidth footprint for each training iteration by up to 16x. Our results hold for models such as linear regression and least squares SVM. ZipML raises interesting theoretical questions related to the robustness of SGD to approximate data, model, and gradient representations. We conclude this working paper by a description of ongoing work extending these preliminary results.

研究の動機と目的

• 一般線形モデルの分散学習における通信およびメモリ帯域幅の削減に取り組み、低精度のデータ表現を可能にする。
• 訓練サンプルを量子化する際のランダム化丸めによるバイアスを克服し、これまでは収束性を損なう要因となっていた。
• 入力、勾配、モデルパラメータのすべてのデータが、正確性を損なわず低精度形式で処理され、通信されるシステムを設計する。
• 入力データの低精度表現が、フル精度学習と同一の解に収束することを保証する理論的および実験的条件を確立する。

提案手法

• ランダム化丸めで入力サンプルを量子化する際に生じるバイアスを補正することで収束性を維持する2つの新規データ表現を導入する。
• ビット単位の量子化を用いて、入力、勾配、モデルパラメータを1成分あたり最小2ビットで表現し、帯域幅とメモリ使用量を大幅に削減する。
• 入力サンプルの量子化が確率的勾配の期待値を変えることのないよう保証し、SGDの収束特性を維持する。
• 個別の量子化戦略を適用する：エンドツーエンド2ビット学習ではすべてのコンポonentに2ビット表現を用い、入力にのみ6ビット、勾配とモデルに8ビットを用いる。
• 理論的および実験的に、提案された表現がフル精度学習と同一の解に収束することを検証する。
• モデルと勾配の量子化はランダム化丸めに耐えられることを活用するが、入力の量子化にはバイアス補正が必要であり、正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 密度型一般線形モデルの学習を、エンドツーエンドの低精度表現、具体的には1成分あたり最小2ビットで行うことは可能か？ その際、収束性や正確性が低下しないか？
• RQ2 なぜランダム化丸めを入力サンプルに適用すると失敗するのか？ そして、このバイアスはどのように補正され、収束性が保たれるのか？
• RQ3 入力、勾配、モデルの表現に必要な最小精度は何か？ きびしいデータセットにおいても収束性が安定するようにするには？
• RQ4 すべてのデータ移動が量子化された状態でも、フレームワークはフル精度学習と同一の解を維持できるか？

主な発見

• ZipML は、入力データ、勾配、モデルパラメータを16倍圧縮しながらも、フル精度学習と同一の訓練結果を達成する。
• エンドツーエンド8ビット表現のみで収束性が安定し、入力のみを量子化する6ビット表現でも十分に機能する。
• ランダム化丸めを入力サンプルに適用するとバイアスが生じ、学習が発散するが、ZipML は新規のデータ表現によりこれを補正する。
• 提案されたフレームワークにより、1成分あたり最小2ビットでエンドツーエンド学習が可能となり、32ビット浮動小数点と比較して1迭代あたりの帯域幅を最大16倍削減できる。
• 理論的および実験的検証により、新しい表現が元のフル精度学習プロセスと同じ解に収束することが確認された。
• このフレームワークは線形回帰や最小二乗SVMを含むモデルに有効であり、一般線形モデルの族における広範な適用可能性を示している。