[논문 리뷰] Conformal prediction for exponential families and generalized linear models

Daniel J. Eck, Forrest W. Crawford|arXiv (Cornell University)|2019. 05. 09.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 연속된 결과를 가진 일반화선형모형(GLMs)에 대해 유한표본 타당성을 보장하는 두 가지 매개변수적 동형예측 방법을 제안한다. 모델가정 위반 상황에서도 유한표본 타당성이 유지된다. 첫 번째 방법은 국소적 타당성을 확보하기 위해 예측자 공간을 구간화하고 최적 수렴속도를 달성한다. 두 번째 방법은 확률분포함수변환을 적용하여 마진형 타당성과 渐近 최소성(비율 $\sqrt{\log(n)/n}$)을 달성한다.

ABSTRACT

Conformal prediction methods construct prediction regions for iid data that are valid in finite samples. We provide two parametric conformal prediction regions that are applicable for a wide class of continuous statistical models. This class of statistical models includes generalized linear models (GLMs) with continuous outcomes. Our parametric conformal prediction regions possesses finite sample validity, even when the model is misspecified, and are asymptotically of minimal length when the model is correctly specified. The first parametric conformal prediction region is constructed through binning of the predictor space, guarantees finite-sample local validity and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate when the dimension $d$ of the predictor space is one or two, and converges at the $O\{(\log(n)/n)^{1/d}\}$ rate when $d > 2$. The second parametric conformal prediction region is constructed by transforming the outcome variable to a common distribution via the probability integral transform, guarantees finite-sample marginal validity, and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate. We develop a novel concentration inequality for maximum likelihood estimation that induces these convergence rates. We analyze prediction region coverage properties, large-sample efficiency, and robustness properties of four methods for constructing conformal prediction intervals for GLMs: fully nonparametric kernel-based conformal, residual based conformal, normalized residual based conformal, and parametric conformal which uses the assumed GLM density as a conformity measure. Extensive simulations compare these approaches to standard asymptotic prediction regions. The utility of the parametric conformal prediction region is demonstrated in an application to interval prediction of glycosylated hemoglobin levels, a blood measurement used to diagnose diabetes.

연구 동기 및 목표

• 모델가정 위반 상황에서도 GLMs에 대해 유한표본 타당성을 유지하는 동형예측 방법을 개발한다.
• 모델가정이 올바를 경우 예측영역 길이를 최소화함으로써 渐近 효율성을 확보한다.
• 연속된 결과를 가진 지수족 및 GLM 설정으로 동형예측을 확장한다.
• 비모수적 및 잔차 기반 대안들과 비교하여 커버리지와 효율성 측면에서 매개변수적 동형예측 방법을 평가한다.
• 당뇨병 진단에서 헤모글로빈의 당화 수준 예측에 응용하여 실용적 유용성을 입증한다.

제안 방법

• 예측자 공간을 구간화하여 매개변수적 동형예측 영역을 구성함으로써, 유한표본 국소적 타당성을 보장한다.
• 결과 변수에 확률분포함수변환을 적용하여 균등분포로 변환함으로써 마진형 타당성을 가능하게 한다.
• 최대우도추정의 새로운 농도부등식을 유도하여, 예측영역의 수렴속도를 뒷받기반으로 한다.
• 매개변수적 동형예측 방법에서 가정된 GLM 밀도를 적합도 측정치로 사용하여 효율성을 향상시킨다.
• 교환가능성 하에서 타당성을 유지하기 위해 한 개씩 제거하는 방식(leave-one-out)을 사용하여 적합도 점수를 계산한다.
• 비모수적 커널기반, 잔차기반, 정규화된 잔차기반, 매개변수적 동형예측의 네 가지 방법에 대해 커버리지, 효율성, 강건성의 분석을 수행한다.

실험 결과

연구 질문

• RQ1 매개변수적 동형예측 방법이 연속된 결과를 가진 GLMs에 대해 유한표본 타당성을 달성할 수 있는가?
• RQ2 모델가정 위반 및 정확한 가정 하에서 매개변수적 동형예측 영역의 수렴속도는 어떠한가?
• RQ3 비모수적 및 잔차기반 대안들과 비교하여 매개변수적 동형예측 방법의 커버리지와 효율성은 어떠한가?
• RQ4 확률분포함수변환은 마진형 타당성과 渐近 최소성 확보에 어떤 역할을 하는가?
• RQ5 적합도 측정치의 선택(예: GLM 밀도)은 예측영역 길이와 강건성에 어떤 영향을 미치는가?

주요 결과

• 구간화 기반 방법은 연속된 결과를 가진 GLMs에 대해 유한표본 국소적 타당성을 확보하며, 예측자 차원 $d = 1$ 또는 $2$일 경우 $\sqrt{\log(n)/n}$ 속도로 수렴하고, $d > 2$일 경우 $O\{ (\log(n)/n)^{1/d} \}$ 속도로 수렴한다.
• 변환기반 방법은 유한표본 마진형 타당성을 보장하며, $\sqrt{\log(n)/n}$ 속도로 渐近 최소성을 달성한다.
• 최대우도추정에 대한 새로운 농도부등식은 수렴속도를 뒷받기반으로 하며, 두 방법의 이론적 타당성을 뒷받침한다.
• 시뮬레이션 결과, 매개변수적 동형예측 방법이 표준 점근적 예측영역보다 커버리지와 효율성 측면에서 뛰어나며, 특히 모델가정 위반 상황에서 유의미한 성능 향상을 보였다.
• GLM 밀도를 적합도 측정치로 사용한 매개변수적 동형예측 방법은 모델가정이 정확할 경우 가장 짧은 예측구간을 달성한다.
• 당뇨병 진단에서 헤모글로빈의 당화 수준 예측에 대한 응용을 통해, 이 방법의 실용적 유용성과 실세계 의료 환경에서의 강건성을 확인하였다.