[논문 리뷰] Distribution-Free Predictive Inference For Regression

Jing Lei, Max G’Sell외 3명|arXiv (Cornell University)|2016. 04. 14.

Statistical Methods and Inference인용 수 37

한 줄 요약

이 논문은 분포에 관계없이 회귀 분석에서 예측 추론을 위한 프레임워크를 제안하며, 어떤 회귀 추정기라도 분포 가정 없이 유효한 유한표본 예측 구간을 제공한다. 주요 기여는 모형 오특정이 있을 경우에도 여전히 근방 커버리지(coverage)를 보장하는 방법을 제공하며, 표본 내 예측, 이종분산성(heteroscedasticity), 그리고 LOCO 추론을 통한 모형 자유 변수 중요도 측정 등으로 확장된다.

ABSTRACT

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called <i>rank-one-out</i> conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, to adapt to heteroscedasticity in the data. Finally, we propose a model-free notion of variable importance, called <i>leave-one-covariate-out</i> or LOCO inference. Accompanying this article is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

연구 동기 및 목표

• 모델 가정에 관계없이 유한표본 근방 커버리지가 유지되는 일반적이고 분포에 관계없는 예측 밴드를 구성하기 위한 프레임워크 개발.
• 선형, 고차원, 비모수적 등 어떤 회귀 추정기라도 정확한 모형 사양이 필요 없이 유효한 예측 추론을 가능하게 하기.
• 표본 내 예측, 이종분산성 데이터에 적합한 국소적으로 변하는 예측 구간 길이, 모형 자유 변수 중요도 평가로 프레임워크 확장.
• 강한 분포 가정이 필요한 파라미터 예측 구간에 대한 계산 효율적이고 이론적으로 타당한 대안 제공.
• LOCO(한 개의 공변량 제거) 추론을 도입하여 최소한의 가정 하에 유효한 모형 자유 변수 중요도 측정 방법 제시.

제안 방법

• 가상의 새로운 관측치를 학습 데이터에 추가하고, 경험적 분위수 기반의 p-값을 계산하여 conformal 예측을 사용해 예측 밴드를 구성.
• 주요 두 변형을 사용: 전체 conformal 추론(각 새로운 예측마다 모형 재적합)과 분할 conformal 추론(학습 세트에서 한 번만 모형 적합, 캘리브레이션은 테스트 세트에서 수행)으로 계산 효율성 확보.
• 계산 효율성이 분할 conformal과 유사하면서도 유한표본 유효성을 유지하는 표본 내 예측을 위한 순위-일치-제거 conformal 추론을 도입.
• 응답 변수의 이종분산성에 적응하기 위해 국소 가중 conformal 추론을 적용하여 너비가 변화하는 예측 밴드 생성.
• 각 공변량을 모형에서 제거했을 때 중앙값 초과 예측 오차를 평가하여 모형 자유 변수 중요도 측정 방법으로 LOCO 추론을 제안.
• 모든 방법을 R 패키지 conformalInference에 구현하여 모든 실증 결과의 재현성과 실용적 적용 가능성을 보장.

실험 결과

연구 질문

• RQ1 분포 가정 없이도 유한표본 근방 커버리지가 보장되는 일반적 프레임워크를 개발할 수 있는가?
• RQ2 전체 conformal 추론과 분할 conformal 추론은 통계적 정확도(구간 길이)와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 분할 conformal과 유사한 계산 효율성과 함께, 표본 내 예측 구간을 보장할 수 있는가?
• RQ4 이종분산성 데이터에 적응하기 위해 국소적으로 변하는 구간 길이를 허용함으로써 예측 밴드를 어떻게 조정할 수 있는가?
• RQ5 최소한의 가정 하에 유효하고 모형 오특정에 강건한 모형 자유 변수 중요도 측정 방법을 정의할 수 있는가?

주요 결과

• 제안된 conformal 예측 프레임워크는 어떤 회귀 추정기라도 모형이 심각하게 오특정되어 있어도 $1 - \alpha$ 수준에서 유한표본 근방 커버리지를 보장한다.
• 분할 conformal 추론은 전체 conformal 대비 통계적 정확도의 약간의 손실만을 감수하면서도 유효한 커버리지를 유지하며 계산 효율성을 확보한다.
• 순위-일치-제거 conformal 추론은 분할 conformal과 유사한 계산 효율성을 갖추고 있어, 외부 표본 적합이 비용이 많이 들기 때문에 비용이 큰 환경에서 실용적으로 사용 가능하다.
• 국소 가중 conformal 추론은 지역 분산을 반영하는 너비가 변화하는 예측 밴드를 생성함으로써 이종분산성 데이터에 성공적으로 적응한다.
• LOCO 추론은 각 공변량을 제거했을 때 중앙값 초과 예측 오차를 측정함으로써 관련 공변량을 식별하며, 고차원 설정에서 실증 결과로 관련 변수와 비관련 변수 간 명확한 분리가 관찰된다.
• R 패키지 conformalInference는 모든 실증 결과의 완전한 재현성을 보장하며, 제안된 방법의 광범위한 채택과 확장 가능성을 지원한다.