[논문 리뷰] Gradient boosting for extreme quantile regression

Jasper Velthoen, Clément Dombry외 2명|arXiv (Cornell University)|2021. 03. 01.

Probabilistic and Robust Engineering Design인용 수 9

한 줄 요약

이 논문은 응답 분포의 꼬리 부분을 코Variates에 의존하는 일반화된 페아레토 분포(GPD)로 모델링하는 기울기 부스팅 프레임워크인 gbex를 제안한다. 트리 기반 앙상블 학습을 통해 GPD의 퇰일러런스(deviance)를 최소화함으로써 gbex는 관측된 데이터를 초월하는 강건한 고차원 외삽을 가능하게 하며, 시뮬레이션 및 실제 기상 예측 응용 분야에서 전통적인 분위수 회귀 및 극단가치 이론 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Extreme quantile regression provides estimates of conditional quantiles outside the range of the data. Classical quantile regression performs poorly in such cases since data in the tail region are too scarce. Extreme value theory is used for extrapolation beyond the range of observed values and estimation of conditional extreme quantiles. Based on the peaks-over-threshold approach, the conditional distribution above a high threshold is approximated by a generalized Pareto distribution with covariate dependent parameters. We propose a gradient boosting procedure to estimate a conditional generalized Pareto distribution by minimizing its deviance. Cross-validation is used for the choice of tuning parameters such as the number of trees and the tree depths. We discuss diagnostic plots such as variable importance and partial dependence plots, which help to interpret the fitted models. In simulation studies we show that our gradient boosting procedure outperforms classical methods from quantile regression and extreme value theory, especially for high-dimensional predictor spaces and complex parameter response surfaces. An application to statistical post-processing of weather forecasts with precipitation data in the Netherlands is proposed.

연구 동기 및 목표

• 꼬리 영역의 데이터가 부족할 때 전통적인 분위수 회귀의 극한 조건부 분위수 추정에 대한 한계를 해결한다.
• 고차원 예측자 공간에서 극단가치이론의 파라미터 모델이나 가산 모델의 차원의 저주와 유연성 부족 문제를 극복한다.
• 극단가치이론의 외삽 능력과 트리 기반 앙상블 방법의 예측 능력을 결합한 유연하고 비모수적 기계학습 접근법을 개발한다.
• 기상학적 후처리와 같은 복잡한 실제 응용 분야에서 극한 분위수(예: 99.95분위수)의 강건한 추정을 가능하게 한다.
• 변수 중요도 및 부분 의존도 플롯과 같은 진단 도구를 제공하여 고차원 설정에서 피팅된 모델을 해석할 수 있도록 한다.

제안 방법

• 코Variates에 따라 변화하는 형태 및 척도 파라미터를 가진 트리 기반 앙상블을 통해 응답 분포의 꼬리 부분을 일반화된 페아레토 분포(GPD)로 모델링한다.
• 기울기 부스팅을 사용하여 GPD 우도의 퇴화(deviance)를 목적 함수로 최소화함으로써 파라미터 추정치의 반복적 개선을 가능하게 한다.
• 각 트리가 이전 모델의 잔차를 보정하도록 하는 회귀 트리 앙상블을 구성하며, 이때 가짜 반응값으로 퇴화의 음의 기울기를 사용한다.
• 모델 일반화를 보장하기 위해 교차검증을 통해 최적의 조정 파rameter(나무 수 및 트리 깊이 포함)를 선택한다.
• 모든 기상관측소와 코Variates 값 간에 관측치를 표준화하기 위해 초과 데이터를 확률적 적분 변환(probability integral transform)을 통해 변환한다.
• 초과치의 지수 변환 기반 QQ-플롯을 사용하여 모델 적합도 평가 및 다양한 임계값 선택 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 꼬리 영역의 데이터가 희소할 때 기울기 부스팅이 극한 조건부 분위수 추정에 효과적으로 적용될 수 있는가?
• RQ2 고차원 예측자 공간에서 제안된 gbex 방법은 전통적인 분위수 회귀 및 극단가치이론 방법보다 어떻게 성능을 발휘하는가?
• RQ3 gbex는 GPD의 파라미터화에서 복잡한 비선형 응답 표면을 어느 정도 잘 처리하는가?
• RQ4 gbex는 예측자 공간에서 노이즈 변수와 고차원 특징이 존재할 경우에 얼마나 강건한가?
• RQ5 기존의 역사적 예측 및 관측 데이터만을 사용하여 gbex는 폭우와 같은 극한 기상 사건에 대한 신뢰할 수 있는 조기 경고 신호를 제공할 수 있는가?

주요 결과

• gbex는 특히 고차원 및 비선형성이 높은 복잡한 설정에서 전통적인 분위수 회귀 및 극단가치이론 방법보다 뚜렷이 뛰어난 성능을 보이며 극한 분위수 추정에 유의미하게 승리한다.
• 예측자 수가 많아도 강력한 예측 성능를 유지하여 차원의 저주에 대한 강건성을 입증한다.
• 변수 중요도 및 부분 의존도 플롯과 같은 진단 도구가 극한 분위수에 영향을 주는 주요 예측변수를 효과적으로 식별하여 모델의 해석 가능성을 향상시킨다.
• 네덜란드 강수량 데이터에 대한 적용에서 gbex는 관측된 극한 사건(예: 주황색 경보 수준 포함)과 일치하는 99.95% 분위수를 성공적으로 예측하였다.
• QQ-플롯은 gbex 모델이 모든 기상관측소에서 데이터에 잘 적합되어 있음을 확인하였으며, 점들이 대각선에 밀접하게 맞춰져 있어 선택된 임계값에서 적절한 GPD 근사가 이루어졌음을 시사한다.
• 고정된 파라미터를 가진 GPD 모델보다 gbex가 우수한 적합도 평가를 보이며, 코Variates에 따라 변화하는 파라미터 추정의 추가 가치를 입증한다.