[논문 리뷰] XGBoostLSS -- An extension of XGBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|2019. 07. 06.

Forecasting Techniques and Applications인용 수 14

한 줄 요약

이 논문은 XGBoost의 확장판인 XGBoostLSS를 소개한다. XGBoostLSS는 단변량 반응 변수의 전체 조건부 분포를 위치, 척도, 형태 파라미터를 동시에 추정함으로써 모델링한다. XGBoost의 부스팅 프레임워크를 활용하면서도 GAMLSS 원칙에 따라 분포 모델링을 적용함으로써, 확률 예측, 예측 구간, 분위수 추정이 가능해지며, 머신러닝 모델의 불확실성 정량화를 크게 향상시킨다.

ABSTRACT

We propose a new framework of XGBoost that predicts the entire conditional distribution of a univariate response variable. In particular, XGBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distribution, modelling and predicting the entire conditional distribution greatly enhances the flexibility of XGBoost, as it allows to gain additional insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real world examples that demonstrate the virtues of our approach.

연구 동기 및 목표

• 기존 XGBoost가 조건부 평균만 예측할 수 있는 한계를 해결하기 위해 전체 분포 예측 기능을 제공한다.
• GAMLSS의 유연성(위치, 척도, 형태 파라미터 모델링)을 XGBoost 프레임워크에 통합하여 불확실성 정량화를 향상시킨다.
• 스케일링 가능하고 고성능인 머신러닝 도구를 제공하여 XGBoost의 속도와 해석 가능성 특성을 유지하면서도 확률 예측을 지원한다.
• 통계 모델링(데이터 모델링 문화)과 알고리즘 모델링(알고리즘 모델링 문화) 사이의 격차를 메우기 위해 해석 가능하고 분포 인식 예측을 가능하게 한다.

제안 방법

• XGBoost를 확장하여 파라미터적 분포 가족을 사용해 위치(LSS: 위치), 척도, 형태 파라미터를 동시에 모델링한다.
• 부정적 로그우도를 최소화하기 위해 뉴턴 부스팅을 적용함으로써 경험 위험 최소화와 최대우도 추정을 연결한다.
• 기존의 링크 함수를 사용하여 선형 예측 변수를 분포 파라미터로 매핑함으로써 각 파라미터에 대한 민감하고 추가적인 모델링이 가능해진다.
• 연속형, 이산형, 혼합형 분포의 넓은 범위를 지원하여 다양한 데이터 유형에 적응할 수 있다.
• XGBoost의 기존 기능을 통합: SHAP 값, 부분 의존도 플롯, GPU/CPU 및 분산 컴퓨팅(Spark, Dask), 베이지안 하이퍼파rameter 최적화.
• 비독립성 또는 비아이.i.d. 데이터 구조를 다루기 위해 종속성 인식 전략(예: 시계열 또는 그룹 CV)을 사용한 교차검증을 시행한다.

실험 결과

연구 질문

• RQ1 XGBoost는 반응 변수의 전체 조건부 분포를 평균 이외의 요소까지 모델링할 수 있는가?
• RQ2 불확실성 정량화 및 예측 구간 커버리지 측면에서 XGBoostLSS는 표준 XGBoost보다 어떻게 성능을 발휘하는가?
• RQ3 실제 데이터에서 이종분산성, 왜도, 첨도를 어떻게 연속된 분포 파라미터 모델링을 통해 포착할 수 있는가?
• RQ4 반응 분포의 다양한 분위수나 기대값에서 특성 중요도와 부분 효과는 어떻게 달라지는가?
• RQ5 XGBoostLSS는 종속성 구조가 있는 비아이.i.d. 데이터(예: 종단적 또는 공간적 종속성)를 효과적으로 처리할 수 있는가?

주요 결과

• XGBoostLSS는 위치, 척도, 형태 파라미터를 동시에 추정함으로써 반응 변수의 전체 조건부 분포를 성공적으로 모델링한다.
• 모델은 전체 예측 분포에서 예측 구간과 관심 있는 분위수를 유도할 수 있으며, 이는 불확실성 정량화를 크게 향상시킨다.
• 특성 중요도와 부분 효과는 다양한 기대값 또는 분위수에서 다르게 나타나며, 공변수의 영향이 반응 분포의 다양한 부분에 어떻게 작용하는지 드러낸다.
• 분포 파라미터 전반에 걸쳐 계산된 SHAP 값은 평균 이외의 파라미터에 대해서도 모델 행동에 대한 해석 가능한 통찰을 제공한다.
• 시뮬레이션 및 실제 사례 연구를 통해 XGBoostLSS는 왜도 및 이종분산성과 같은 분포 특성을 표준 XGBoost보다 더 잘 포착함을 입증했다.
• 베이지안 최적화가 효과적으로 하이퍼파rameter를 튜닝하며, 복잡도 증가에도 불구하고 계산 효율성을 유지한다.