[논문 리뷰] LinXGBoost: Extension of XGBoost to Generalized Local Linear Models

Laurent de Vito|arXiv (Cornell University)|2017. 10. 10.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 5

한 줄 요약

LinXGBoost는 나무의 리프에서 조각별로 일정한 예측을 로컬 선형 모델로 대체함으로써 XGBoost를 확장하여, 불연속성 또는 다양하게 변화하는 부드러움을 가진 함수의 회귀 성능을 향상시킨다. 실험 결과, 일반적으로 다섯 개 이하의 나무로 XGBoost와 유사하거나 더 뛰어난 성능을 달성함을 보였다. 특히 저차원 설정에서 유리하다.

ABSTRACT

XGBoost is often presented as the algorithm that wins every ML competition. Surprisingly, this is true even though predictions are piecewise constant. This might be justified in high dimensional input spaces, but when the number of features is low, a piecewise linear model is likely to perform better. XGBoost was extended into LinXGBoost that stores at each leaf a linear model. This extension, equivalent to piecewise regularized least-squares, is particularly attractive for regression of functions that exhibits jumps or discontinuities. Those functions are notoriously hard to regress. Our extension is compared to the vanilla XGBoost and Random Forest in experiments on both synthetic and real-world data sets.

연구 동기 및 목표

• 조각별 일정한 예측 방식이 저차원 입력 공간에서 부적절한 경우, 조각별 선형 모델이 더 적합함을 해결하기 위해.
• 스위치나 불연속성이 있는 함수의 회귀 성능을 향상시켜, 표준 XGBoost로는 모델링하기 어려운 상황을 개선하기 위해.
• 고정된 대역폭 또는 전역 모델 대신 국소 선형 근사로 입력에 따라 변화하는 부드러움을 더 잘 모델링할 수 있도록 하기 위해.
• 유사하거나 더 높은 예측 정확도를 달성하기 위해 LinXGBoost가 XGBoost보다 적은 수의 나무로도 충분한지 입증하기 위해.
• 연구 및 실용적 응용을 위한 회귀 작업에서 사용 가능한 경량이고 해석 가능한 확장 모델의 구현을 제공하기 위해.

제안 방법

• XGBoost의 리프에서의 일정한 값 대신 각 리프 노드에 선형 모델(즉, 선형 회귀 계수)을 도입하기.
• 각 영역(리프)이 국소 선형 모델을 피팅하는 조각별 정규화된 최소 제곱법으로 목적 함수를 설정하기.
• 각 리프의 국소 선형 모델에 대해 기울기와 헤시안을 계산하여 경사 하강 부스팅으로 모델을 최적화하기.
• 선형 모델 계수와 리프 수에 대해 L2 정규화를 적용하여 과적합을 방지하기.
• 정규화된 목적 함수의 감소를 고려해 탐욕적으로 나무를 성장시키며, 분할은 손실 함수의 감소에 의해 결정하기.
• Chen (2014)를 기반으로 XGBoost에 대한 플러그인으로서가 아니라, 명확성과 확장성을 위해 파이썬으로 처음부터 알고리즘을 구현하기.

실험 결과

연구 질문

• RQ1 XGBoost의 일정한 예측을 국소 선형 모델로 대체함으로써, 불연속성 또는 다양하게 변화하는 부드러움을 가진 함수의 회귀 성능 향상이 가능한가?
• RQ2 유사한 예측 정확도를 달성하기 위해 LinXGBoost가 XGBoost보다 더 적은 수의 나무를 필요로 하는가?
• RQ3 저차원 입력을 가진 시뮬레이션 및 실세계 데이터셋에서 LinXGBoost가 XGBoost와 랜덤 포레스트를 능가하는가?
• RQ4 어떤 설정(예: 일차원 대비 고차원)에서 국소 선형 확장이 가장 큰 이점을 제공하는가?
• RQ5 부드러움이 입력 공간에 따라 변화하는 함수, 예를 들어 지형 표면이나 급격한 변화가 있는 신호를 효과적으로 모델링할 수 있는가?

주요 결과

• LinXGBoost는 시뮬레이션 및 실세계 데이터셋에서 XGBoost와 유사하거나 더 높은 NMSE 성능을 달성하면서도, 훨씬 적은 수의 나무를 사용한다—종종 다섯 개 이하.
• CCPP 데이터셋에서 LinXGBoost는 NMSE 0.03567 ± 0.00289를 기록했으며, XGBoost(0.03371 ± 0.00233)보다 약간 열등하지만 랜덤 포레스트와 비교해도 경쟁력 있다.
• pumadyn-8nm 데이터셋에서 LinXGBoost(0.03876 ± 0.00177)는 XGBoost(0.03737 ± 0.00145)보다 약간 열등했지만, 랜덤 포레스트보다는 우수했다.
• HeavySine 함수와 같은 일차원 문제에서는, LinXGBoost가 단일 나무로 XGBoost의 조각별 일정한 예측보다도 시각적·정량적으로 뛰어난 결과를 도출했다.
• 이 방법은 점프나 불연속성을 명시적으로 모델링하지 않아도 효과적으로 포착할 수 있으며, 이러한 상황에서 표준 XGBoost보다 뛰어난 성능을 보였다.
• 계산 비용이 높지만, 다양한 길이 척도를 가진 비정상적인 함수를 원리적으로 모델링할 수 있는 방법을 제공하며, 특히 저차원 회귀 작업에서 매우 유용하다.