[논문 리뷰] Leave-one-out prediction intervals in linear regression models with many variables

Lukas Steinberger, Hannes Leeb|arXiv (Cornell University)|2016. 02. 18.

Statistical Methods and Inference참고 문헌 14인용 수 18

한 줄 요약

이 논문은 예측 변수 수 $ p_n $ 가 표본 크기 $ n $ 와 함께 증가할 수 있는 고차원 선형 회귀 모형에 대해 일반적인 한 개 생략 예측 구간 방법을 제안한다. 이 방법은 이조도 잔차 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ 의 경험 분위수를 사용하여, 오차 분포와 설계 행렬에 대한 최소한의 가정 하에 조건부로 점 渐近적으로 타당한 예측 구간을 구성한다. 이는 $ p_n/n \gg 0 $ 인 경우에도 성립한다. 주요 기여는 M-추정, 제임스-스타인 추정, LASSO 등 다양한 추정기에서 유효한 강건한 예측 추론을 유지한다는 점이다.

ABSTRACT

We study prediction intervals based on leave-one-out residuals in a linear regression model where the number of explanatory variables can be large compared to sample size. We establish uniform asymptotic validity (conditional on the training sample) of the proposed interval under minimal assumptions on the unknown error distribution and the high dimensional design. Our intervals are generic in the sense that they are valid for a large class of linear predictors used to obtain a point forecast, such as robust M-estimators, James-Stein type estimators and penalized estimators like the LASSO. These results show that despite the serious problems of resampling procedures for inference on the unknown parameters, leave-one-out methods can be successfully applied to obtain reliable predictive inference even in high dimensions.

연구 동기 및 목표

• 예측 변수 수 $ p_n $ 가 표본 크기 $ n $ 와 함께 증가하는 고차원 선형 회귀에서 유효한 일반적인 예측 구간 방법을 개발하는 것.
• 잔차 부트스트랩과 같은 전통적인 리샘플링 방법이 오차 분포 추정의 비일관성으로 인해 고차원 환경에서 실패하는 문제를 다루는 것.
• M-추정, 수축 추정, LASSO와 같은 페널티 추정과 같은 다양한 점 추정기 $ \hat{\beta} $ 를 선택하더라도 유효한 조건부로 점 渐진적으로 정확한 예측 구간을 제공하는 것.
• 오차 분포와 설계 행렬의 구조에 대한 최소한의 가정 하에 예측 구간의 균일한 점 渐진적 타당성을 확립하는 것.

제안 방법

• 이 방법은 $ \hat{\beta}_{(i)} $ 가 $ i $-번째 관측치를 제외하고 계산된 추정기인 이조도 잔차 $ \tilde{u}_i = y_i - x_i^\top \hat{\beta}_{(i)} $ 의 경험 분위수를 사용하여 예측 구간을 구성한다.
• 예측 구간은 $ PI_{\alpha}^{(L1O)} = [x_0^\top \hat{\beta} + \tilde{q}_{n,\alpha/2}, x_0^\top \hat{\beta} + \tilde{q}_{n,1-\alpha/2}] $ 로 정의되며, $ \tilde{q}_{n,\alpha} $ 는 이조도 잔차의 경험 $ \alpha $-분위수이다.
• 이 방법은 진정한 오차 분포를 추정하는 대신, 직접적으로 예측 오차의 조건부 분포를 이조도 잔차를 통해 추정함으로써 오차 분포 추정의 문제를 피한다.
• 이론적 타당성은 M-추정, LASSO 등 고차원 추정기에도 적용 가능한 $ \hat{\beta} $ 에 대한 최소한의 정규성 조건 하에 확립된다.
• 이 방법은 이조도 잔차의 경험 분포의 점 점근적 분석에 기반하며, 이는 진정한 조건부 예측 오차 분포로의 확률 수렴을 보여준다.
• 핵심 기술 도구로는 랜덤 행렬의 고유값 행동을 기술하는 Bai-Yin 정리와 고차원 점근적 조건 하에서 경험 스펙트럼 분포의 수렴성을 포함한다.

실험 결과

연구 질문

• RQ1 이조도 잔차를 사용하여 $ p_n/n \gg 0 $ 인 경우에도 균일하게 점 渐진적으로 타당한 예측 구간을 구성할 수 있는가?
• RQ2 제안된 방법이 M-추정, 제임스-스타인, LASSO 추정과 같은 다양한 점 추정기에서 유효성을 유지하는가?
• RQ3 전통적인 리샘플링 방법(예: 잔차 부트스트랩)이 고차원 환경에서 실패하는 이유는 무엇이며, 이조도 방법은 이러한 실패를 극복할 수 있는가?
• RQ4 고차원에서 이조도 잔차의 분포는 조건부 예측 오차 분포의 일관된 추정기인가?

주요 결과

• 제안된 이조도 예측 구간 $ PI_{\alpha}^{(L1O)} $ 는 균일하게 점 渐진적으로 타당하며, $ n \to \infty $ 일 때 $ \sup_{\beta, \sigma^2, \Sigma} \mathbb{E}_{\beta,\sigma^2,\Sigma}\left[ \left| \mathbb{P}(y_0 \in PI_{\alpha}^{(L1O)} \mid Y,X) - (1 - \alpha) \right| \right] \to 0 $ 를 만족한다. 이는 $ p_n/n \gg 0 $ 인 경우에도 성립한다.
• 이 방법은 일반적이며 M-추정, 제임스-스타인 수축 추정, LASSO와 같은 페널티 추정 등 광범위한 추정기 클래스에 적용 가능하다.
• 이 방법은 잔차 부트스트랩의 함정을 피하기 위해 직접적으로 오차 분포가 아닌 예측 오차의 조건부 분포를 추정한다.
• 이론적 근거는 고차원 환경에서도 이조도 잔차의 경험 분포가 진정한 조건부 예측 오차 분포로 수렴한다는 점에 기반한다.
• M-추정, LASSO 등에 대해 $ \hat{\beta} $ 에 대한 약한 정규성 조건 하에서, 오차 분포가 정규 또는 경미한 꼬리 분포일 필요 없이도 균일한 점 渐진적 타당성을 달성한다.
• 오차 분포의 가정이 $ p_n/n \to \kappa \in [0,1) $ 라는 조건 하에 거의 확실히 성립하며, 이는 $ X^\top X/n $ 의 고유값 행동이 증명에서 핵심 역할을 한다.