[논문 리뷰] Conditional predictive inference for high-dimensional stable algorithms

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|2018. 09. 05.

Probabilistic and Robust Engineering Design참고 문헌 31인용 수 7

한 줄 요약

이 논문은 단일 관측치 제거에 대해 알고리즘이 안정적인 경우 조건부 커버리지 수준이 명목 수준에 매우 가까운 예측 구간을 제안한다. 이 방법은 유한 표본 분석을 통해 고차원 설정에서도 최소한의 오차 분포에 대한 가정으로도 신뢰할 수 있는 예측 추론을 보장한다.

ABSTRACT

We investigate generically applicable and intuitively appealing prediction intervals based on leave-one-out residuals. The conditional coverage probability of the proposed interval, given the observations in the training sample, is close to the nominal level, provided that the underlying algorithm used for computing point predictions is sufficiently stable under the omission of single feature-response pairs. Our results are based on a finite sample analysis of the empirical distribution function of the leave-one-out residuals and hold in a non-parametric setting with only minimal assumptions on the error distribution. To illustrate our results, we also apply them to high-dimensional linear predictors, where we obtain uniform asymptotic conditional validity as both sample size and dimension tend to infinity at the same rate. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters (cf. Bickel and Freedman, 1983; El Karoui and Purdom, 2015; Mammen, 1996), leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

연구 동기 및 목표

• 명목 수준에 매우 가까운 조건부 커버리지 확률을 유지하는 일반적으로 적용 가능한 예측 구간을 개발하는 것.
• 伝통적인 리샘플링 방법이 실패하는 고차원 설정에서 신뢰할 수 있는 예측 추론을 다루는 것.
• 오차 분포에 대한 최소한의 가정 하에 유한 표본 분석 기반으로 이론적 타당성을 확립하는 것.
• 표본 크기와 차원이 동시에 증가하는 고차원 선형 모델에서의 균일 점근적 조건부 타당성을 보여주는 것.
• 안정적인 알고리즘이 리샘플링 절차의 알려진 한계에도 불구하고 유효한 추론을 가능하게 하는 이유를 설명하는 것.

제안 방법

• 유한 표본 분석을 통해 훈련 데이터를 기반으로 한 조건부 커버리지 보장을 확보하기 위해 유사한 이론적 기반을 제공한다.
• 단일 특성-응답 쌍의 제거에 대한 예측 알고리즘의 안정성 조건을 적용한다.
• 모수적 모델링 없이 오차 분포에 대한 최소한의 가정 하에 이론적 보장을 수립한다.
• 표본 크기와 차원이 동시에 증가하는 고차원 선형 예측자로 결과를 확장한다.
• 전통적인 리샘플링의 함정을 피하기 위해 알고리즘 안정성에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 오차 분포에 대한 최소한의 가정 하에 유한 표본 분석 기반으로 유도된 이론적 기반을 제공한다.
• RQ2 단일 관측치 제거에 대한 알고리즘 안정성이 예측 구간의 타당성에 어떤 영향을 미치는가?
• RQ3 고차원 설정에서 유한 표본 분석을 통해 유도된 유사한 이론적 기반을 제공한다.
• RQ4 고차원 선형 모델에서 제안된 방법이 균일 점근적 조건부 타당성을 확보할 수 있는가?
• RQ5 왜 전통적인 리샘플링 방법은 매개변수 추론에는 실패하지만 예측 추론에는 실패하지 않는가?

주요 결과

• 알고리즘이 단일 관측치 제거에 대해 안정적인 경우, 유한 표본 분석 기반으로 유도된 이론적 기반을 제공한다.
• 오차 분포에 대한 최소한의 가정만으로도 비모수적 설정에서 유효한 방법이다.
• 유한 표본 분석은 유한 표본 분석 기반으로 유도된 이론적 기반을 제공한다.
• 표본 크기와 차원이 동시에 증가하는 고차원 선형 모델에서, 균일 점근적 조건부 타당성을 달성한다.
• 리샘플링 절차의 알려진 문제에도 불구하고, 알고리즘 안정성 덕분에 유한 표본 분석 기반으로 유도된 이론적 기반을 제공한다.
• 전통적인 리샘플링의 대안으로 고차원 예측 작업에서 강력한 대체 방법을 제공한다.