[논문 리뷰] Benchmarking and Optimization of Gradient Boosted Decision Tree Algorithms

Andreea Anghel, Nikolaos Papandreou외 3명|arXiv (Cornell University)|2018. 09. 12.

Machine Learning and Data Classification참고 문헌 19인용 수 18

한 줄 요약

이 논문은 다양한 데이터셋을 대상으로 XGBoost, LightGBM, CatBoost를 사용하여 그래디언트 부스팅 결정수형(GBDT) 알고리즘을 벤치마킹하고 최적화한다. GPU 가속을 통한 수렴 속도와 일반화 성능을 하이퍼파rameter 최적화에서 평가하여, GPU 가속 구현이 훈련 시간을 크게 단축시키면서도 모델 정확도를 유지하거나 향상시킴을 입증한다.

ABSTRACT

Gradient boosting decision trees (GBDTs) have seen widespread adoption in academia, industry and competitive data science due to their state-of-the-art performance in many machine learning tasks. One relative downside to these models is the large number of hyper-parameters that they expose to the end-user. To maximize the predictive power of GBDT models, one must either manually tune the hyper-parameters, or utilize automated techniques such as those based on Bayesian optimization. Both of these approaches are time-consuming since they involve repeatably training the model for different sets of hyper-parameters. A number of software GBDT packages have started to offer GPU acceleration which can help to alleviate this problem. In this paper, we consider three such packages: XGBoost, LightGBM and Catboost. Firstly, we evaluate the performance of the GPU acceleration provided by these packages using large-scale datasets with varying shapes, sparsities and learning tasks. Then, we compare the packages in the context of hyper-parameter optimization, both in terms of how quickly each package converges to a good validation score, and in terms of generalization performance.

연구 동기 및 목표

• GPU 가속이 세 가지 주요 GBDT 라이브러리(XGBoost, LightGBM, CatBoost)에서 성능에 미치는 영향을 평가하기 위해.
• 하이퍼파rameter 최적화 중 수렴 속도 측면에서 이들 라이브러리를 비교하기 위해.
• 다양한 데이터 형태, 희소성, 학습 과제에서 일반화 성능를 평가하기 위해.
• GPU 가속 하에서 훈련 효율성과 예측 정확도 사이의 최적의 트레이드오프를 제공하는 GBDT 구현 방식을 특정하기 위해.

제안 방법

• 다양한 차원, 희소성 수준, 학습 과제를 가진 대규모 데이터셋에서 GPU 가속 훈련을 평가하기 위해.
• 세 가지 GBDT 라이브러리 전반에서 베이지안 최적화를 사용한 하이퍼파rameter 최적화 벤치마킹을 수행하기 위해.
• 하이퍼파rameter 튜닝 과정에서 최적의 검증 점수에 도달하는 데까지의 수렴 속도를 측정하기 위해.
• 교차검증 및 테스트 세트 평가를 통한 일반화 성능 비교를 위해.
• 공정한 비교를 보장하기 위해 표준화된 데이터 전처리 및 평가 프로토콜을 사용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 XGBoost, LightGBM, CatBoost에 GPU 가속이 훈련 속도에 어떤 영향을 미치는가?
• RQ2 하이퍼파rameter 최적화 중 어느 GBDT 라이브러리가 가장 빨리 높은 검증 점수에 수렴하는가?
• RQ3 GPU 가속 하에서 XGBoost, LightGBM, CatBoost의 일반화 성능는 어떻게 비교되는가?
• RQ4 데이터의 희소성이나 형태에 따라 GBDT 라이브러리 선택이 모델 성능에 다르게 영향을 미치는가?

주요 결과

• GPU 가속은 세 GBDT 라이브러리 전반에서 훈련 시간을 크게 단축시키며, 대부분의 벤치마크 시나리오에서 LightGBM이 가장 빠른 수렴 속도를 보였다.
• 희소성과 고차원 데이터셋에서 CatBoost가 가장 뛰어난 일반화 성능를 보였으며, 여러 테스트 케이스에서 XGBoost와 LightGBM을 앞섰다.
• XGBoost는 특히 조밀하고 중간 크기의 데이터셋에서 수렴 속도와 안정성 면에서 뛰어난 성능를 보였다.
• 라이브러리의 상대적 성능는 데이터 특성에 따라 달라졌으며, LightGBM은 속도에서, CatBoost는 도전적인 데이터 유형에서 정확도에서 뛰어났다.