[논문 리뷰] Flexible Model Aggregation for Quantile Regression

Rasool Fakoor, Taesup Kim외 3명|arXiv (Cornell University)|2021. 02. 26.

Advanced Statistical Methods and Models인용 수 7

한 줄 요약

이 논문은 예측 정확도와 校정성 향상을 위해 다수의 조건부 분위수 회귀 모델을 통합하기 위한 유연하고 딥러닝 기반의 프레임워크를 제안한다. 입력에 따라 변화하는 가중치를 사용하고, 등치회귀 또는 정렬을 통한 후처리를 통해 분위수 순서의 단조성과 캘리브레이션을 보장하며, 적합성 캘리브레이션을 통해 유효한 커버리지 확보를 달성한다. 이는 34개 데이터셋에 대한 종합적 벤치마킹에서 기존 방법들을 능가한다.

ABSTRACT

Quantile regression is a fundamental problem in statistical learning motivated by a need to quantify uncertainty in predictions, or to model a diverse population without being overly reductive. For instance, epidemiological forecasts, cost estimates, and revenue predictions all benefit from being able to quantify the range of possible values accurately. As such, many models have been developed for this problem over many years of research in statistics, machine learning, and related fields. Rather than proposing yet another (new) algorithm for quantile regression we adopt a meta viewpoint: we investigate methods for aggregating any number of conditional quantile models, in order to improve accuracy and robustness. We consider weighted ensembles where weights may vary over not only individual models, but also over quantile levels, and feature values. All of the models we consider in this paper can be fit using modern deep learning toolkits, and hence are widely accessible (from an implementation point of view) and scalable. To improve the accuracy of the predicted quantiles (or equivalently, prediction intervals), we develop tools for ensuring that quantiles remain monotonically ordered, and apply conformal calibration methods. These can be used without any modification of the original library of base models. We also review some basic theory surrounding quantile aggregation and related scoring rules, and contribute a few new results to this literature (for example, the fact that post sorting or post isotonic regression can only improve the weighted interval score). Finally, we provide an extensive suite of empirical comparisons across 34 data sets from two different benchmark repositories.

연구 동기 및 목표

• 다양한 데이터셋에서 예측 정확도와 내구성을 향상시키기 위해 다수의 조건부 분위수 모델을 통합하는 일반 목적의 방법을 개발한다.
• 입력에 따라 예측된 분위수의 단조성 순서를 보장하기 위해 후처리 또는 정규화 기법을 사용한다.
• 적합성 예측을 통해 다양한 데이터셋에서 명시된 수준에서 유효한 커버리지 확보를 위한 예측 구간을 校정한다.
• 기존의 분위수 회귀 모델과 원활하게 통합될 수 있는 확장성 있고 딥러닝 호환 프레임워크를 제공한다.
• 실세계 데이터셋의 광범위한 범위에서 최첨단 방법과의 비교를 통해 제안된 집계 전략을 실증적으로 평가한다.

제안 방법

• 집계 가중치가 입력 특성, 모델, 분위수 수준에 따라 변화하는 가중치 기반 앙상블 방식을 사용하여, 맥락에 민감한 모델 조합을 가능하게 한다.
• 신경망을 통해 매개변수화된 학습 가능한 가중치 함수를 사용하여, 입력 맥락에 따라 기반 모델의 중요도를 적응적으로 할당한다.
• 예측된 분위수의 단조성을 보장하기 위해 후처리 기법으로 후순서 정렬과 등치회귀(PAVA)를 적용한다.
• 최적화 과정에서 단조성을 유도하기 위해 페널티 기반 학습 전략을 사용하여 후처리의 필요성을 줄인다.
• CQR-CV+ 방법을 통해 적합성 예측을 적용하여 예측 구간을 조정하고 명시된 수준에서 유효한 커버리지를 보장한다.
• 딥러닝 툴킷을 사용해 학습된 임의의 기반 분위수 회귀 모델과 호환되어 확장성과 구현 용이성을 확보한다.

실험 결과

연구 질문

• RQ1 입력에 따라 변화하는 가중치 부여 방식이 다양한 데이터셋에서 분위수 회귀 앙상블의 정확도 향상에 기여하는가?
• RQ2 후처리 또는 정규화를 통해 예측된 분위수의 단조성을 강제로 적용하면 예측 구간의 신뢰성이 향상되는가?
• RQ3 적합성 캘리브레이션을 분위수 집계 프레임워크에 효과적으로 통합하여 유효한 커버리지를 확보하면서도 구간 길이에 영향을 주지 않을 수 있는가?
• RQ4 다양한 실세계 데이터에서 다양한 집계 전략이 가중치 구간 점수와 커버리지 정확도 측면에서 어떻게 비교되는가?
• RQ5 모델의 민감성, 단조성 강제, 유효한 커버리지의 세 가지 요소를 하나의 종단 간 프레임워크에서 효과적으로 통합할 수 있는 실용적이고 확장 가능한 방법이 존재하는가?

주요 결과

• 후순서 정렬과 적합성 캘리브레이션을 적용한 제안된 딥 분위수 집계(DQA) 모델이 34개의 벤치마크 데이터셋 전반에서 가장 일관되고 정확한 커버리지 성능을 보였으며, 평균과 중앙값과 같은 표준 집계기법들을 능가했다.
• 후순서 정렬과 후등치회귀(PAVA)는 가중치 구간 점수(WIS)를 엄격히 향상시켜 이론적 기대와 일치함을 입증했다.
• 적합성 처리된 DQA는 모든 개별 데이터셋에서 최소 80%의 커버리지 확보를 달성했고, 비적합성 처리된 모델은 몇몇 케이스에서 유효한 커버리지를 유지하지 못했다.
• 적합성 처리된 DQA는 평균적으로 최대 75%까지 구간 길이를 늘렸고, 일반적으로 0–30% 범위 내에서 증가했으며, 이는 평균과 중앙값 집계기법보다 훨씬 효율적인 성능을 보였다.
• QRA와 FQRA는 DQA와 유사한 구간 길이를 보였지만, 특히 개별 데이터셋에서 커버리지 측면에서 덜 내구성이 있었다.
• 간단한 후순서 정렬과 CQR-CV+ 적합성 처리를 결합한 DQA는 실증 평가에서 가장 효과적이고 내구성 있는 방법으로 입증되었다.