[논문 리뷰] Conformalized Quantile Regression

Yaniv Romano, Evan Patterson외 1명|arXiv (Cornell University)|2019. 05. 08.

Statistical Methods and Inference참고 문헌 25인용 수 51

한 줄 요약

CQR은 순응 예측(conformal prediction)과 분위수 회귀를 결합하여 이질성에 적응하고 일반적으로 경쟁적인 conformal 방법보다 짧은 finite-sample, 분포 비의 prediction intervals을 생성합니다.

ABSTRACT

Conformal prediction is a technique for constructing prediction intervals that attain valid coverage in finite samples, without making distributional assumptions. Despite this appeal, existing conformal methods can be unnecessarily conservative because they form intervals of constant or weakly varying length across the input space. In this paper we propose a new method that is fully adaptive to heteroscedasticity. It combines conformal prediction with classical quantile regression, inheriting the advantages of both. We establish a theoretical guarantee of valid coverage, supplemented by extensive experiments on popular regression datasets. We compare the efficiency of conformalized quantile regression to other conformal methods, showing that our method tends to produce shorter intervals.

연구 동기 및 목표

• 회귀에서 강한 분포 가정 없이 신뢰할 수 있는 불확실성 정량화를 동기화한다.
• 로컬 가변성에 맞춰 구간 길이를 조정하면서 finite-sample, distribution-free 커버리지를 얻는 방법을 개발한다.
• 어떤 분위수 회귀 알고리즘이든 conformalized 예측 구간을 생성하도록 래핑한다.
• 이론적 보증과 기존 conformal 방법 대비 효율성 향상의 실증적 근거를 제공한다.

제안 방법

• proper training set과 calibration set을 사용한 split conformal prediction을 사용한다.
• 적절한 학습 세트에서 두 개의 조건부 분위수 함수를 적합시켜 하한 및 상한을 얻는다.
• plug-in 구간에 기초한 적합도 점수를 계산하고 이러한 점수의 경험적 분위수로 보정한다.
• 보정된 conformity 분위수(E 기반)로 plug-in 분위수를 조정하여 최종 구간을 구성한다.
• 교환가능성(exchangeability)하에 P{Y_{n+1} in C(X_{n+1})} ≥ 1 - α를 finite-sample 커버리지로 증명한다.
• 평균 회귀가 아닌 분위수 회귀를 사용하여 이질적 가변성에 대한 적응성을 보여준다.
• 하이퍼파라미터 조정, 2차원 분위수 출력, 비대칭 conformalization 가능성과 같은 실용적 고려사항으로 확장한다.

실험 결과

연구 질문

• RQ1 분위수 회귀를 기본 구간으로 사용할 때 conformal prediction 보장이 보존될 수 있는가?
• RQ2 CQR 분위수 구간이 데이터셋 전체에서 finite-sample 커버리지를 유지하면서 평균 길이를 더 짧게 달성하는가?
• RQ3 구간 길이와 커버리지 측면에서 표준 split conformal prediction 및 로컬 적용 conformal prediction과 비교했을 때 CQR의 차이는 무엇인가?
• RQ4 CQR은 다양한 분위수 회귀 방법(예: 랜덤 포레스트, 신경망)을 래핑하여 실용적이고 효율적인 예측 구간을 산출할 수 있는가?

주요 결과

Method	Avg Length	Avg. Coverage
Ridge	3.06	90.03
Ridge Local	2.94	90.13
Random Forests	2.24	89.99
Random Forests Local	1.82	89.95
Neural Net	2.16	89.92
Neural Net Local	1.81	89.95
CQR Random Forests	1.41	90.33
CQR Neural Net	1.40	90.05
Quantile Random Forests	2.23	92.62
Quantile Neural Net	1.49	88.51

• CQR은 11개 데이터셋에서 표준 및 로컬 적응 conformal prediction보다 평균 예측 구간이 짧다.
• 실험에서 모든 conformal 기반 방법은 90%의 명목 커버리지를 유지한 반면, 비 conformal baselines는 커버리지에서 변동성을 보였다.
• 평균적으로, random forests 및 neural nets를 사용한 CQR은 구간이 현저히 더 짧아졌고(예: CQR RF와 CQR NN의 평균 길이가 각각 1.41, 1.40), 커버리지도 대략 nominal에 근접했다(약 90%).
• 비 conformal화된 분위수 기반 기준선은 조정에 따라 과대/과소 커버링이 가능하므로 finite-sample 보장의 가치가 강조된다.
• 두 가지 변형(대칭 vs 비대칭 conformalization)은 구간 길이에 차이를 가져오며, 비대칭은 길이를 다소 증가시키지만 꼬리 보장을 개선하는 경향이 있다.
• 이 방법은 다양한 분위수 회귀 백본(예: 분위수 포레스트, 분위수 신경망)에 대해 커버리지 보장을 유지하는 등 유연하다.