[논문 리뷰] XGBoost: Scalable GPU Accelerated Learning

Rory Mitchell, Andrey Adinets외 2명|arXiv (Cornell University)|2018. 06. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 4인용 수 34

한 줄 요약

이 논문은 XGBoost에서 다중 GPU를 활용한 기울기 부스팅 알고리즘을 제안하며, 훈련, 예측, 기울기 계산, 결정 트리 구축의 전 단계에 걸쳐 엔드 투 엔드 GPU 병렬 처리를 달성한다. 특성 이산화 및 런타임 데이터 압축 기법을 통해 GPU 메모리 사용량을 네 배 감소시키며, 8개의 V100 GPU를 탑재한 단일 클라우드 인스턴스에서 1억 1500만 건의 인스턴스를 3분 이내로 처리하여 CPU 및 기타 GPU 최적화 기반 대비 빠른 속도와 높은 정확도를 확보한다.

ABSTRACT

We describe the multi-GPU gradient boosting algorithm implemented in the XGBoost library (https://github.com/dmlc/xgboost). Our algorithm allows fast, scalable training on multi-GPU systems with all of the features of the XGBoost library. We employ data compression techniques to minimise the usage of scarce GPU memory while still allowing highly efficient implementation. Using our algorithm we show that it is possible to process 115 million training instances in under three minutes on a publicly available cloud computing instance. The algorithm is implemented using end-to-end GPU parallelism, with prediction, gradient calculation, feature quantisation, decision tree construction and evaluation phases all computed on device.

연구 동기 및 목표

• 대규모 데이터셋에서 다중 GPU 시스템을 활용해 기울기 부스팅 모델의 확장성 있고 고속 훈련을 가능하게 하기 위해.
• 런타임 데이터 압축 및 특성 이산화를 통해 고성능을 유지하면서 GPU 메모리 사용량을 줄이기 위해.
• 트리 구축, 예측, 기울기 평가를 포함한 기울기 부스팅 파이프라인의 모든 단계에 대해 엔드 투 엔드 GPU 가속화를 구현하기 위해.
• 기존 API와의 완전한 호환성을 유지하면서 회귀, 분류, 다중 분류, 순위 매기기 등 표준 XGBoost 학습 작업을 GPU에서 지원하기 위해.
• 다양한 실제 데이터셋에서 최첨단 CPU 및 GPU 최적화 기반 기울기 부스팅 프레임워크(예: LightGBM, CatBoost)와 비교해 뛰어난 성능을 달성하기 위해.

제안 방법

• 알고리즘은 입력 특성을 이산화된 박스로 표현함으로써 트리 구축 문제를 효율적인 기울기 히스토그램 누적 문제로 변환한다.
• 런타임 데이터 압축 기법을 통해 비트 연산을 사용해 이산화된 값을 log₂(max_value) 비트로 압축하여 GPU 메모리 사용량을 최대 4배 감소시킨다.
• 결정 트리 구축은 다수의 GPU에 걸쳐 병렬로 수행되며, 각 GPU에서 부분 히스토그램을 생성하고 NCCL의 AllReduce 연산을 통해 병합한다.
• 병합된 히스토그램을 바탕으로 병렬 프리픽스 합(스캔) 연산을 사용해 최적의 분할을 효율적으로 계산한다.
• 예측 및 기울기 평가는 GPU에 매핑되며, 각 훈련 인스턴스당 하나의 스레드를 사용하여 고메모리 대역폭과 병렬성을 극대화한다.
• 구현은 GPU에서 로지스틱 회귀 및 선형 회귀 목표 함수를 지원하며, 나머지 목표 함수(예: 다중 분류, 순위 매기기)는 현재 CPU에서 계산된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 GPU 가속화가 대규모 기울기 부스팅 모델의 훈련 시간을 크게 단축시킬 수 있는가?
• RQ2 런타임 데이터 압축 기법이 성능을 저하시키지 않으면서 GPU 메모리 사용량을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 AllReduce 기반 히스토그램 집계를 통한 다중 GPU 병렬 처리가 결정 트리 구축에 대해 다수의 GPU에서 효율적으로 스케일업할 수 있는가?
• RQ4 최첨단 CPU 및 GPU 최적화 기반 대비(XGBoost GPU)의 성능은 LightGBM 및 CatBoost와 비교해 어떻게 다른가?
• RQ5 현대 하드웨어에서 GPU 가속 XGBoost가 달성할 수 있는 데이터셋 크기 및 훈련 속도의 상한선은 무엇인가?

주요 결과

• XGBoost GPU는 8개의 Tesla V100 GPU를 탑재한 단일 클라우드 인스턴스에서 1억 1500만 개의 훈련 인스턴스를 3분 이내로 처리한다.
• 6개의 벤치마크 데이터셋 중 3개에서 평가된 모든 방법 중에서 가장 빠른 성능을 보이며, 가장 큰 데이터셋(1억 1500만 행)에서도 최근 경쟁자 대비 거의 3배의 속도 향상을 달성한다.
• 6개의 모든 데이터셋에서 런타임이 2분을 초과하지 않아 일관된 확장성과 효율성을 입증한다.
• 비트 연산을 통한 이산화된 특성 값의 런타임 압축을 통해 GPU 메모리 사용량을 4배 이상 감소시킨다.
• 정확도는 유지되며, 6개 데이터셋 중 2개에서 최고의 CPU 기반 XGBoost 결과와 동일하거나 略로 뛰어나다.
• 추가 GPU를 통해 효율적으로 스케일업되며, 항공사 데이터셋에서 1 GPU일 경우 280초에서 8 GPU일 경우 240초로 훈련 시간이 감소하여 강력한 다중 GPU 스케일링 성능을 보여준다.