[논문 리뷰] Conformal Prediction using Conditional Histograms

Matteo Sesia, Yaniv Romano|arXiv (Cornell University)|2021. 05. 18.

Statistical Methods and Inference참고 문헌 27인용 수 11

한 줄 요약

이 논문은 조건부 밀도를 히스토그램을 통해 추정하고, 유한 샘플에서의 경계 커버리지와 渐진적으로 타당한 조건부 커버리지로 예측 구간을 구성하는 데에 블랙박스 기계학습 모델을 사용하는 Conformal Histogram Regression (CHR)을 제안한다. 이 방법은 히스토그램 기반 밀도 추정에서 유도된 적합도 점수를 역으로 적용하여 가장 짧은 간격을 적응적으로 선택함으로써, 모델 일致성 하에서 최적의 간격 길이를 달성하며, 최신 기법인 conformalized quantile regression 및 distributional conformal prediction을 초월한다. 시뮬레이션 및 실제 데이터에서 모두 뛰어난 성능을 보였다.

ABSTRACT

This paper develops a conformal method to compute prediction intervals for non-parametric regression that can automatically adapt to skewed data. Leveraging black-box machine learning algorithms to estimate the conditional distribution of the outcome using histograms, it translates their output into the shortest prediction intervals with approximate conditional coverage. The resulting prediction intervals provably have marginal coverage in finite samples, while asymptotically achieving conditional coverage and optimal length if the black-box model is consistent. Numerical experiments with simulated and real data demonstrate improved performance compared to state-of-the-art alternatives, including conformalized quantile regression and other distributional conformal prediction approaches.

연구 동기 및 목표

• 비모수적 회귀에서 비대칭 데이터에 대해 짧고 타당한 예측 간격을 생성하는 확률적 예측 방법을 개발하기 위해.
• 모델 일치성 하에서 유한 샘플의 경계 커버리지와 渐진적으로 타당한 조건부 커버리지를 보장하기 위해.
• 히스토그램 기반 밀도 추정을 활용해 조건부 분포의 형태에 따라 간격 길이를 적응적으로 조정함으로써 기존의 확률적 방법을 개선하기 위해.
• 이론적 보장을 유지하면서도 간격의 날카움을 향상시키는 실용적이고 블랙박스 호환 프레임워크를 제공하기 위해.

제안 방법

• 메서드는 훈련 데이터를 기반으로 훈련된 블랙박스 모델을 사용하여 X가 주어진 조건에서 Y의 조건부 밀도를 히스토그램으로 추정한다.
• 추정된 조건부 밀도를 바탕으로 校정 점에 대한 적합도 점수를 계산하여, 각 관측치가 모델 하에서 얼마나 일반적인지 측정한다.
• 예측 간격은 적합도 점수 함수를 역으로 적용하여, 테스트 점을 포함하는 약간의 조건부 커버리지로 가장 짧은 간격을 찾는 방식으로 구성된다.
• 이 방법은 예측 값 주변의 가장 작은 범위를 결정하여 보정 점 수준의 충분한 비율을 포함하도록 간격 길이를 선택한다.
• 모델 추정 오차를 보정하기 위해 데이터 기반 임계값 τ̂ 를 사용하여 타당한 경계 커버리지를 보장한다.
• 이 방법은 이론적으로 탄탄하다: 이는 보장된 유한 샘플 경계 커버리지를 제공하며, 블랙박스 모델이 일치할 경우 渐진적으로 조건부 커버리지와 최적의 간격 길이를 달성한다.

실험 결과

연구 질문

• RQ1 비대칭적이고 i.i.d.가 아닌 데이터에 대해, 보장된 유한 샘플 경계 커버리지와 渐진적으로 타당한 조건부 커버리지를 유지하면서 더 짧은 예측 간격을 생성할 수 있는 확률적 예측 방법을 설계할 수 있는가?
• RQ2 히스토그램 기반 밀도 추정은 어떻게 확률적 예측에 통합되어 조건부 분포의 형태를 적응적으로 포착할 수 있는가?
• RQ3 제안된 방법은 간격 폭과 조건부 커버리지 측면에서 기존의 conformalized quantile regression 및 distributional conformal prediction 기법보다 뛰어나게 성능을 발휘하는가?
• RQ4 어떤 조건에서 이 방법이 간격 길이에서 渐진적으로 최적성을 달성하는가?
• RQ5 이 방법은 블랙박스 밀도 추정기의 모델 잘못 설정 또는 추정 오류에 대해 얼마나 강인한가?

주요 결과

• 이론적으로 보장된 바와 같이, CHR는 모든 데이터셋에서 정확히 90%의 경계 커버리지를 달성했으며, 최소한의 편차(예: 표본 S1에서 0.90(0.01))를 보였다.
• 실제 데이터셋인 meps19 및 meps20에서 CHR는 CQR(28.1 및 30.1) 및 DCP(520.3 및 531.3)보다 더 좁은 예측 간격(19.1 및 20.5)을 생성하여 간격의 날카움에서 뛰어난 성능을 보였다.
• fb1 및 fb2 등의 몇몇 데이터셋에서 CHR는 CQR 및 DCP-CQR보다 더 높은 조건부 커버리지를 달성했지만, 두 개의 페이스북 데이터셋에서는 약간의 커버리지 부족 현상이 발생했다.
• 시뮬레이션 및 실제 데이터에서 CHR는 간격 폭 측면에서 최신 기법을 초월했으며, 조건부 커버리지는 유지하거나 향상시켰다.
• 딥 네트워크 및 랜덤 포레스트를 포함한 다양한 기본 모델에서 이 방법은 일관된 성능 향상을 보이며 간격 길이를 개선했다.
• 비대칭적이고 꼬리가 두꺼운 조건부 밀도를 포함한 다양한 데이터 분포 하에서도 CHR의 성능은 안정적이었으며, 이는 복잡한 데이터 형태에 대한 적응성의 확인이었다.