[논문 리뷰] Gradient Boosting With Piece-Wise Linear Regression Trees

Yu Shi, Jian Li외 1명|arXiv (Cornell University)|2018. 02. 15.

Machine Learning and Data Classification참고 문헌 23인용 수 10

한 줄 요약

이 논문은 조각별 선형 회귀 트리(PL 트리)를 사용하여 GBDT의 수렴 속도를 높이고 정확도를 향상시키기 위해 조각별 상수 트리를 대체하는 Gradient Boosting with Piecewise Linear Regression Trees (GBDT-PL)를 제안한다. 이 방법은 점진적 특성 선택, 반할성 피팅, SIMD 최적화 구현을 통해 경쟁적인 학습 속도를 달성하면서도, 조밀한 수치형 데이터셋에서 XGBoost, LightGBM, CatBoost를 능가하는 정확도와 수렴 속도를 확보한다.

ABSTRACT

Gradient Boosted Decision Trees (GBDT) is a very successful ensemble learning algorithm widely used across a variety of applications. Recently, several variants of GBDT training algorithms and implementations have been designed and heavily optimized in some very popular open sourced toolkits including XGBoost, LightGBM and CatBoost. In this paper, we show that both the accuracy and efficiency of GBDT can be further enhanced by using more complex base learners. Specifically, we extend gradient boosting to use piecewise linear regression trees (PL Trees), instead of piecewise constant regression trees, as base learners. We show that PL Trees can accelerate convergence of GBDT and improve the accuracy. We also propose some optimization tricks to substantially reduce the training time of PL Trees, with little sacrifice of accuracy. Moreover, we propose several implementation techniques to speedup our algorithm on modern computer architectures with powerful Single Instruction Multiple Data (SIMD) parallelism. The experimental results show that GBDT with PL Trees can provide very competitive testing accuracy with comparable or less training time.

연구 동기 및 목표

• 조각별 상수 기반 학습기 대신 조각별 선형 회귀 트리(PL 트리)를 사용하여 기울기 부스팅 결합 결정 트리(GBDT)의 표현 능력을 향상시키기 위해.
• PL 트리 학습의 높은 계산 비용 문제를 해결하기 위해 효율적인 알고리즘적 및 시스템 수준 최적화를 설계하기 위해.
• 최신 GBDT 툴킷(XGBoost, LightGBM, CatBoost)과 유사한 학습 효율성을 확보하면서도, 조밀한 수치형 데이터셋에서 예측 정확도를 향상시키기 위해.
• 현대 CPU의 SIMD 병렬 처리와 캐시 인식 데이터 구조를 활용하여, PL 트리가 포함된 GBDT의 확장성 있고 고성능 학습을 가능하게 하기 위해.

제안 방법

• GBDT의 2차 근사 기법을 확장하여 기반 학습기로 PL 트리를 사용함으로써, 더 표현력 있는 리프 모델을 통해 더 빠른 수렴을 가능하게 한다.
• 트리 생성 과정에서 점진적 특성 선택을 도입하여 선형 모델의 크기를 제한하고 피팅 비용을 감소시킨다.
• 트리 구축 중에 선형 모델을 효율적으로 업데이트하기 위해 반할성 피팅을 제안하며, 대규모 모델의 재피팅을 피한다.
• 조각별 상수 트리에서 유래한 히스토그램 기법을 PL 트리에 적용하여 효율적인 분할 평가를 구현한다.
• 비트 조작과 메모리 액세스 패턴 최적화를 통해 데이터 레이아웃을 최적화하여 캐시 미스를 줄이고 SIMD 병렬 처리를 가속화한다.
• 알고리즘 최적화와 저수준 시스템 수준 성능 엔지니어링을 통합한 맞춤형 학습 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 표준 조각별 상수 트리 대비 조각별 선형 회귀 트리(PL 트리)가 기울기 부스팅의 수렴 속도와 정확도를 향상시키는가?
• RQ2 대규모 데이터셋에서 PL 트리 학습의 확장성과 효율성을 확보하기 위해 필요한 알고리즘적 및 시스템 수준 최적화는 무엇인가?
• RQ3 XGBoost, LightGBM, CatBoost와 같은 최신 GBDT 구현체와 비교해 볼 때, 제안된 GBDT-PL 방법의 학습 속도와 테스트 정확도는 어떠한가?
• RQ4 점진적 특성 선택과 반할성 피팅이 PL 트리 내 선형 모델 피팅의 계산 비용을 얼마나 줄이는가?
• RQ5 철저한 데이터 구조 설계와 메모리 액세스 최적화를 통해 SIMD 병렬 처리를 PL 트리 학습에 효과적으로 활용할 수 있는가?

주요 결과

• GBDT-PL은 10개의 공개 조밀한 수치형 데이터셋에서 XGBoost, LightGBM, CatBoost보다 더 높은 테스트 정확도를 확보하였으며, 특히 회귀 과제에서 두드러진 우위를 보였다.
• 기본 GBDT 방법보다 빠른 수렴 속도를 보였으며, 여러 데이터셋에서 반복 단계별 정확도 곡선을 통해 더 적은 트리 수로 유사한 정확도에 도달함을 확인했다.
• 5개의 회귀자로 고정된 경우에도 GBDT-PL은 경쟁력 있는 성능을 보였고, 회귀자의 수를 늘일수록 정확도가 더욱 향상되었다.
• 학습 시간은 최신 툴킷과 유사하거나 더 빠르며, 대부분의 데이터셋에서 동일하거나 더 적은 시간에 더 높은 정확도를 달성했다.
• 점진적 특성 선택과 반할성 피팅의 조합은 정확도를 훼손하지 않으면서도 PL 트리 내 선형 모델 피팅의 계산 부담을 줄였다.
• 캐시 인식 데이터 레이아웃과 SIMD 최적화 구현은 학습 지연을 크게 감소시켜, 이 방법이 대규모 응용 분야에 실용적으로 적용 가능하게 했다.