[논문 리뷰] Quantile Extreme Gradient Boosting for Uncertainty Quantification

Xiaozhe Yin, Masoud Fallah-Shorshani외 4명|arXiv (Cornell University)|2023. 04. 23.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 XGBoost에 다른iable Huber-근사 분위수 회귀 목적함수를 도입하여 정확한 불확실성 정량화를 가능하게 하는 새로운 방법 QXGBoost를 제안한다. 이는 확률적 예측 구간을 통해 이루어지며, 시뮬레이션된 데이터와 실제 도로 소음 데이터 모두에서 기준 모델 대비 더 나은 커버리지와 더 좁은 예측 구간을 달성한다.

ABSTRACT

As the availability, size and complexity of data have increased in recent years, machine learning (ML) techniques have become popular for modeling. Predictions resulting from applying ML models are often used for inference, decision-making, and downstream applications. A crucial yet often overlooked aspect of ML is uncertainty quantification, which can significantly impact how predictions from models are used and interpreted. Extreme Gradient Boosting (XGBoost) is one of the most popular ML methods given its simple implementation, fast computation, and sequential learning, which make its predictions highly accurate compared to other methods. However, techniques for uncertainty determination in ML models such as XGBoost have not yet been universally agreed among its varying applications. We propose enhancements to XGBoost whereby a modified quantile regression is used as the objective function to estimate uncertainty (QXGBoost). Specifically, we included the Huber norm in the quantile regression model to construct a differentiable approximation to the quantile regression error function. This key step allows XGBoost, which uses a gradient-based optimization algorithm, to make probabilistic predictions efficiently. QXGBoost was applied to create 90\% prediction intervals for one simulated dataset and one real-world environmental dataset of measured traffic noise. Our proposed method had comparable or better performance than the uncertainty estimates generated for regular and quantile light gradient boosting. For both the simulated and traffic noise datasets, the overall performance of the prediction intervals from QXGBoost were better than other models based on coverage width-based criterion.

연구 동기 및 목표

• XGBoost는 널리 사용되지만 투명하지 않은 기계학습 모델이므로 불확실성 정량화의 부재를 해결하기 위해.
• 기존 분위수 회귀의 비미분 가능성으로 인해 XGBoost 내에서 기울기 기반 최적화가 제약받는 문제를 해결하기 위해.
• 소스 코드 수정 없이도 신뢰할 수 있는 예측 구간을 생성할 수 있는 확장 가능하고 쉽게 구현 가능한 방법을 개발하기 위해.
• 기존 분위수 기반 모델(예: 분위수 LightGBM 및 일반 XGBoost)과의 성능을 평가하기 위해.
• 환경 및 공중보건 분야의 의사결정을 더 신뢰할 수 있게 하기 위해 校정된 불확실성 추정을 제공하기 위해.

제안 방법

• 비미분 가능한 분위수 손실의 다른iable 근사로, Huber 노름을 사용한 수정된 분위수 회귀 목적함수를 제안한다.
• Huber-근사 분위수 손실을 XGBoost의 기울기 부스팅 프레임워크에 통합하여, 테일러 전개를 통한 두 번째 차수 최적화를 가능하게 한다.
• 부드러움을 제어하는 임계값 하이퍼파rameter τ를 사용하며, 편향과 수렴성 간의 균형을 맞춘다.
• 90% 예측 구간을 위해 여러 분위수(예: 5번째 및 95번째)를 예측할 수 있도록 모델을 훈련하기 위해 방법을 적용한다.
• 예측 구간 성능 평가에 커버리지 폭 기반 기준(PICP 및 PINAW)을 사용한다.
• 커버리지 확률과 구간 폭 간의 균형을 맞추기 위해 임계값 τ 및 일반 XGBoost 하이퍼파rameter를 튜닝한다.

Figure 1: Quantile plot.

실험 결과

연구 질문

• RQ1 분위수 회귀의 다른iable 근사가 XGBoost에 성공적으로 통합되어 불확실성 정량화가 가능해지는가?
• RQ2 QXGBoost는 일반 XGBoost 및 분위수 LightGBM에 비해 예측 구간 커버리지와 폭에서 어떻게 성능을 내는가?
• RQ3 Huber 임계값 파라미터 τ는 예측 구간 품질과 모델 校정에 어떤 영향을 미치는가?
• RQ4 QXGBoost는 광범위한 코드 수정 없이도 잘 校정된 예측 구간을 생성할 수 있는가?
• RQ5 특히 극단적 값에서 데이터 분포가 변할 경우에도 메서드는 강건한 성능을 유지하는가?

주요 결과

• QXGBoost는 시뮬레이션된 데이터와 실제 도로 소음 데이터 양쪽 모두에서 기준 모델 대비 예측 구간 커버리지 및 폭 측면에서 유사하거나 더 우수한 성능을 달성했다.
• 시뮬레이션된 데이터셋에서 QXGBoost는 예측 구간 커버리지 확률(PICP) 90.1% 및 예측 구간 정규화 평균 폭(PINAW) 0.89를 기록하여 다른 모델들을 능가했다.
• 실제 도로 소음 데이터셋에서는 QXGBoost가 PICP 89.0% 및 PINAW 1.02를 기록했으며, 90% 커버리지에 도달하기 위해 단지 1%의 커버리지 팯딩이 필요했다.
• 시뮬레이션 데이터에서는 단지 3%의 커버리지 팁딩이 필요했고, 실제 데이터에서는 1%였으며, 이는 최소 조정으로도 강력한 校정을 보여주었다.
• 극단적인 도로 소음 수준에서는 훈련 데이터가 희소하여 성능이 저하되었으며, 저수준에서는 과대추정, 고수준에서는 과소추정이 발생했다.
• 임계값 파라미터 τ는 예측 구간 품질에 상당한 영향을 미쳤으며, 향후 편향이 발생할 수 있는 나쁜 Huber 근사 방지를 위해 τ를 2 이하로 유지할 경우 최적의 성능을 보였다.

Figure 2: The difference between the absolute value function and Huber approximation function with different thresholds when the quantile $\tau=0.95$ .