[論文レビュー] Quantized Training of Gradient Boosting Decision Trees

Yu Shi, Guolin Ke+3 more|arXiv (Cornell University)|Jul 20, 2022

Machine Learning and Data Classification被引用数 13

ひとこと要約

本論文では、勾配の精度を2〜3ビットまで低くすることで、勾配ブースティング決定木（GBDT）の訓練にための量子化訓練を提案している。これにより、整数演算が効率的に行えるようになり、訓練が著しく高速化される。驚くべきことに、モデルの精度を維持したまま、CPU、GPU、分散システムにおいて最大2倍の高速化を達成している。これは、計算、メモリ、通信コストの削減によるものである。

ABSTRACT

Recent years have witnessed significant success in Gradient Boosting Decision Trees (GBDT) for a wide range of machine learning applications. Generally, a consensus about GBDT's training algorithms is gradients and statistics are computed based on high-precision floating points. In this paper, we investigate an essentially important question which has been largely ignored by the previous literature: how many bits are needed for representing gradients in training GBDT? To solve this mystery, we propose to quantize all the high-precision gradients in a very simple yet effective way in the GBDT's training algorithm. Surprisingly, both our theoretical analysis and empirical studies show that the necessary precisions of gradients without hurting any performance can be quite low, e.g., 2 or 3 bits. With low-precision gradients, most arithmetic operations in GBDT training can be replaced by integer operations of 8, 16, or 32 bits. Promisingly, these findings may pave the way for much more efficient training of GBDT from several aspects: (1) speeding up the computation of gradient statistics in histograms; (2) compressing the communication cost of high-precision statistical information during distributed training; (3) the inspiration of utilization and development of hardware architectures which well support low-precision computation for GBDT training. Benchmarked on CPUs, GPUs, and distributed clusters, we observe up to 2$ imes$ speedup of our simple quantization strategy compared with SOTA GBDT systems on extensive datasets, demonstrating the effectiveness and potential of the low-precision training of GBDT. The code will be released to the official repository of LightGBM.

研究の動機と目的

• GBDT訓練における勾配の最小精度を、モデル性能を損なわずに特定すること。
• 高精度浮動小数点演算を低精度整数演算に置き換えることで、GBDT訓練における計算および通信のオーバーヘッドを低減すること。
• 勾配量子化を通じて、CPU、GPU、分散クラスタにおける訓練効率を向上させること。
• GBDT訓練を低精度計算ワークロードに合わせることで、将来のハードウェア加速を可能にすること。
• GBDTの勾配には、量子化によって安全に活用可能な顕著な冗長性が存在することを示すこと。

提案手法

• 量子化誤差を最小限に抑えるために、確率的丸めを用いて勾配を2〜3ビットに量子化する。
• 勾配統計の計算において、高精度浮動小数点演算を8ビット、16ビット、または32ビット整数演算に置き換える。
• 量子化後のモデル精度を維持するために、元の高精度勾配を用いてリファitting（再適合）を行う。
• 分散訓練において、整数値のヒストグラムを勾配統計に使用することで、通信帯域幅を50％以上削減する。
• GPUに最適化された新バージョンのLightGBM（LightGBM+）に本手法を実装し、GPU上で完全な訓練パイプラインを実行可能にする。
• 非定数のヘッセ行列を有する損失関数に対して、量子化誤差の理論的境界を導出する。ただし、各リーフに十分なデータが存在し、分割がバランスしているものとする。

実験結果

リサーチクエスチョン

• RQ1 GBDT訓練において、モデル性能を劣化させずに勾配精度をどの程度まで低くできるか？
• RQ2 低精度勾配は、CPU、GPU、分散システムのGBDT訓練において顕著な高速化を実現できるか？
• RQ3 GBDTの分散訓練における通信コストに、勾配量子化が及ぼす影響は何か？
• RQ4 量子化をどのように設計すれば、モデル精度を維持しつつ整数演算の高速化を実現できるか？
• RQ5 非定数ヘッセ行列を有するGBDTにおいて、量子化誤差が有界であることを保証する理論的条件は何か？

主な発見

• 2〜3ビットの勾配を用いた量子化訓練により、最先端のGBDTシステムと比較して、CPU、GPU、分散クラスタで最大2倍の高速化が達成された。
• 整数値のヒストグラムを用いることで、分散訓練における通信コストが50％以上削減され、スケーラビリティが向上した。
• モデル精度は、完全精度訓練とほぼ同一であり、Higgs、Criteo、Yahoo LTR、Boschを含む複数のデータセットで、最小限の性能低下にとどまった。
• 理論的分析により、十分なデータが各リーフに存在し、分割がバランスしているという現実的な条件下で、量子化誤差が有界であることが確認された。
• 実験的結果から、GBDTの勾配には顕著な冗長性が存在し、性能損なわず、量子化によって安全に活用可能であることが示された。
• 新バージョンのGPU最適化LightGBM+により、低精度勾配を用いた完全な訓練パイプラインの高速化が実現可能であることが実証された。