[논문 리뷰] CatBoostLSS -- An extension of CatBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|2020. 01. 04.

Time Series Analysis and Forecasting참고 문헌 29인용 수 7

한 줄 요약

이 논문은 CatBoost의 확장판인 CatBoostLSS를 소개한다. CatBoostLSS는 단변량 반응 변수의 전체 조건부 분포를 파arametric 분포의 모든 위치, 척도, 형태(LSS) 매개수를 추정하여 확률적 예측, 예측 구간, 분위수 추정을 가능하게 한다. 이 방법은 뉴턴 부스팅과 최대우도추정을 활용하여 기계학습 모델의 해석 가능성과 불확실성 정량화를 향상시킨다.

ABSTRACT

We propose a new framework of CatBoost that predicts the entire conditional distribution of a univariate response variable. In particular, CatBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distributions, modelling and predicting the entire conditional distribution greatly enhances the flexibility of CatBoost, as it allows to gain insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real-world examples that demonstrate the benefits of our approach.

연구 동기 및 목표

• 통계 모델링과 기계학습 간 격차를 해소하기 위해 CatBoost를 반응 변수의 전체 조건부 분포를 모델링할 수 있도록 확장한다.
• 조건부 평균을 넘어서 확률적 예측을 가능하게 하여 예측 구간과 관심 있는 분위수를 제공한다.
• 모든 분포 매개수(위치, 척도, 형태)를 추정함으로써 기울기 부스팅 트리 모델의 해석 가능성과 불확실성 정량화를 향상시킨다.
• 다양한 데이터 설정에서의 시뮬레이션 연구와 실제 응용을 통해 CatBoostLSS의 유용성을 입증한다.
• 통계 학습의 강점(추론, 분포 모델링)과 기계학습의 예측 능력(CatBoost)을 통합한다.

제안 방법

• CatBoostLSS는 뉴턴 부스팅을 사용하여 파라미터적 분포의 모든 매개수(위치, 척도, 형태)를 모델링함으로써 CatBoost를 확장한다.
• 이 방법은 최대우도추정을 통한 경험적 위험 최소화를 활용하며, 매개수 최적화에 뉴턴-라프슨 업데이트 규칙을 적용한다.
• 데이터 생성 과정에 더 잘 맞기 위해 연속형, 이산형, 혼합 이산-연속형 분포를 넓게 지원한다.
• 적합된 파라미터적 모델의 누적분포함수를 역으로 적용하여 조건부 분위수와 예측 구간을 추정할 수 있다.
• 다양한 기대값(expectiles)에서 특징 중요도와 부분 효과를 분석하여 공변수의 영향이 응답 분포의 다양한 부분에 어떻게 영향을 미치는지 평가한다.
• 모델은 파이썬으로 구현되었으며, GitHub 레포지토리에서 공개적으로 이용 가능할 예정이다.

실험 결과

연구 질문

• RQ1 CatBoost는 조건부 평균이 아닌 반응 변수의 전체 조건부 분포를 모델링할 수 있도록 확장될 수 있는가?
• RQ2 모든 분포 매개수(LSS)를 추정함으로써 평균만 추정하는 모델에 비해 불확실성 정량화와 예측 성능이 어떻게 향상되는가?
• RQ3 CatBoostLSS는 실제 데이터에서 이질분산성, 왜도 등 다양한 분포 특성을 얼마나 잘 포착할 수 있는가?
• RQ4 정확도와 내구성 측면에서 기존의 확률적 예측 방법(예: NGBoost, GAMLSS)과 비교해 볼 때 CatBoostLSS는 어떠한가?
• RQ5 CatBoostLSS 내의 기대값 회귀는 응답 분포의 다양한 부분에서 공변수 효과가 다를 수 있음을 드러내는가?

주요 결과

• CatBoostLSS는 모든 LSS 매개수를 추정함으로써 전체 조건부 분포를 성공적으로 모델링하여 확률적 예측과 불확실성 정량화를 가능하게 한다.
• 시뮬레이션 및 실제 데이터에서 이질분산성과 왜도와 같은 분포 특성을 더 잘 포착함으로써 평균 중심 기반 기준 모델보다 성능이 뛰어나다.
• CatBoostLSS 내의 기대값 회귀 분석을 통해 특징의 영향력이 응답 분포의 다양한 부분에서 다르게 나타나며, 일부 공변수는 중앙값보다 꼬리 부분에서 더 강한 영향을 미친다.
• 시뮬레이션 연구를 통해 CatBoostLSS는 다양한 데이터 생성 메커니즘에서 분포 매개수의 정확하고 안정적인 추정을 제공하는 것으로 확인되었다.
• 뮌른 임대료 데이터와 같은 실제 응용 사례에서, CatBoostLSS는 고가 임대료와 저가 임대료에 대한 차별화된 영향을 포착함으로써 평균 회귀보다 더 풍부한 통찰을 제공한다.
• 작은 표본에서 기대값 교차 문제에 대해 강건하지만, 추정 안정성을 향상시키기 위해 조정이 권장된다.