[논문 리뷰] Quantized Training of Gradient Boosting Decision Trees

Yu Shi, Guolin Ke외 3명|arXiv (Cornell University)|2022. 07. 20.

Machine Learning and Data Classification인용 수 13

한 줄 요약

이 논문은 기울기 정밀도를 최소 2~3비트로 낮춤으로써 기울기 부스팅 결정수형(GBDT)을 위한 정량화 학습을 제안한다. 이는 효율적인 정수 산술을 가능하게 하여 훈련을 크게 가속화한다. 놀랍게도, 이 방법은 모델 정확도를 유지하면서도 CPU, GPU, 분산 시스템에서 최대 2배의 속도 향상을 달성한다. 이는 계산, 메모리, 통신 비용이 감소하기 때문이다.

ABSTRACT

Recent years have witnessed significant success in Gradient Boosting Decision Trees (GBDT) for a wide range of machine learning applications. Generally, a consensus about GBDT's training algorithms is gradients and statistics are computed based on high-precision floating points. In this paper, we investigate an essentially important question which has been largely ignored by the previous literature: how many bits are needed for representing gradients in training GBDT? To solve this mystery, we propose to quantize all the high-precision gradients in a very simple yet effective way in the GBDT's training algorithm. Surprisingly, both our theoretical analysis and empirical studies show that the necessary precisions of gradients without hurting any performance can be quite low, e.g., 2 or 3 bits. With low-precision gradients, most arithmetic operations in GBDT training can be replaced by integer operations of 8, 16, or 32 bits. Promisingly, these findings may pave the way for much more efficient training of GBDT from several aspects: (1) speeding up the computation of gradient statistics in histograms; (2) compressing the communication cost of high-precision statistical information during distributed training; (3) the inspiration of utilization and development of hardware architectures which well support low-precision computation for GBDT training. Benchmarked on CPUs, GPUs, and distributed clusters, we observe up to 2$ imes$ speedup of our simple quantization strategy compared with SOTA GBDT systems on extensive datasets, demonstrating the effectiveness and potential of the low-precision training of GBDT. The code will be released to the official repository of LightGBM.

연구 동기 및 목표

• 모델 성능을 저하시키지 않고 GBDT 훈련에서 기울기의 최소 정밀도를 규명하는 것.
• 고정밀도 부동소수점 연산을 저정밀도 정수 산술로 대체하여 GBDT 훈련의 계산 및 통신 오버헤드를 줄이는 것.
• 기울기 정량화를 통해 CPU, GPU, 분산 클러스터에서의 훈련 효율성을 향상시키는 것.
• GBDT 훈련을 저정밀도 계산 워크로드와 일치시켜 향후 하드웨어 가속을 가능하게 하는 것.
• GBDT의 기울기에 상당한 부재성이 존재하여 정량화를 통해 안전하게 활용할 수 있음을 보여주는 것.

제안 방법

• 정량화 오차를 최소화하기 위해 스위치 라운딩을 사용하여 기울기를 2~3비트로 정량화한다.
• 기울기 통계 계산에서 고정밀도 부동소수점 산술을 8-, 16-, 또는 32비트 정수 연산으로 대체한다.
• 정량화 후 모델 정확도를 유지하기 위해 원본 고정밀도 기울기를 사용해 리프 값 재조정을 수행한다.
• 분산 훈련에서 기울기 통계를 정수형 히스토그램으로 사용하여 통신 대역폭을 최소 50% 감소시킨다.
• GPU에 최적화된 새로운 LightGBM 버전(LightGBM+)을 구현하여 GPU에서 전체 훈련을 수행한다.
• 비상수 헤시안을 가진 손실 함수에 대해 정량화 오차의 이론적 경계를 분석하며, 리프당 충분한 데이터와 균형 잡힌 분할을 가정한다.

실험 결과

연구 질문

• RQ1 GBDT 훈련에서 기울기 정밀도를 얼마나 낮출 수 있을까? 이때 모델 성능이 저하되지 않는다.
• RQ2 저정밀도 기울기를 통해 CPU, GPU, 분산 시스템에서의 GBDT 훈련에서 상당한 속도 향상이 가능할까?
• RQ3 기울기 정량화가 분산 GBDT 훈련의 통신 비용에 어떤 영향을 미치는가?
• RQ4 정량화를 어떻게 설계하면 모델 정확도를 유지하면서도 정수 산술 가속을 달성할 수 있는가?
• RQ5 비상수 헤시안을 가진 GBDT에서 정량화 오차가 유한하게 유지되기 위한 이론적 조건은 무엇인가?

주요 결과

• 2~3비트 기울기로 정량화된 훈련은 최신 GBDT 시스템 대비 CPU, GPU, 분산 클러스터에서 최대 2배의 속도 향상을 달성한다.
• 정수형 히스토그램 덕분에 분산 훈련에서 통신 비용이 최소 50% 감소하여 확장성이 향상된다.
• 모델 정확도는 전체 정밀도 훈련과 거의 동일하며, Higgs, Criteo, Yahoo LTR, Bosch 등 다양한 데이터셋에서 성능 저하가 최소한이다.
• 이론적 분석을 통해 충분한 데이터가 리프당 존재하고 분할이 균형을 이루는 현실적인 조건에서 정량화 오차가 유한함을 확인했다.
• 실증 결과로 GBDT의 기울기에 상당한 부재성이 존재하며, 이는 성능 손실 없이 정량화를 통해 안전하게 활용할 수 있음을 보여준다.
• 새로운 GPU 최적화 버전인 LightGBM+는 저정밀도 기울기를 사용함으로써 전체 훈련 파이프라인의 가속이 가능하다는 것을 입증했다.