[논문 리뷰] Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions

Kamiar Rahnama Rad, Wenda Zhou외 1명|arXiv (Cornell University)|2020. 03. 03.

Statistical Methods and Inference참고 문헌 25인용 수 6

한 줄 요약

이 논문은 특징 수 $ p $ 가 표본 크기 $ n $ 를 초과할 수 있는 고차원 일반선형모형에서 이탈한 하나의 관측치를 고려한 교차검증(LOO)의 유한표본 오차 경계를 수립한다. 미약한 규칙성 조건 하에서 희박성 가정 없이도 저자들은 LOO와 진짜 외부 표본 예측 오차 사이의 기대 제곱오차가 $ n, p \to \infty $ 일 때 0으로 수렴함을 증명한다. 이는 $ p/n \to \infty $ 일 때조차도 고차원 환경에서 LOO의 경험적 정확성에 대한 이론적 근거를 제공한다.

ABSTRACT

We study the problem of out-of-sample risk estimation in the high dimensional regime where both the sample size $n$ and number of features $p$ are large, and $n/p$ can be less than one. Extensive empirical evidence confirms the accuracy of leave-one-out cross validation (LO) for out-of-sample risk estimation. Yet, a unifying theoretical evaluation of the accuracy of LO in high-dimensional problems has remained an open problem. This paper aims to fill this gap for penalized regression in the generalized linear family. With minor assumptions about the data generating process, and without any sparsity assumptions on the regression coefficients, our theoretical analysis obtains finite sample upper bounds on the expected squared error of LO in estimating the out-of-sample error. Our bounds show that the error goes to zero as $n,p ightarrow \infty$, even when the dimension $p$ of the feature vectors is comparable with or greater than the sample size $n$. One technical advantage of the theory is that it can be used to clarify and connect some results from the recent literature on scalable approximate LO.

연구 동기 및 목표

• 이상적인 고차원 설정에서 이탈한 하나의 관측치를 고려한 교차검증(LOO)의 경험적 정확성에 대한 이론적 근거를 제시하기 위해.
• 일반선형모형 계열의 정규화된 회귀에서 진짜 외부 표본 예측 오차를 추정하는 데 있어 LOO의 기대 제곱오차를 분석하기 위해.
• 진짜 회귀계수의 희박성 가정 없이 LOO의 추정 오차에 대한 유한표본 상한 경계를 유도하기 위해.
• 통합된 이론적 프레임워크를 통해 LOO와 확장 가능한 근사 LO 방법 간의 관계를 명확히 하기 위해.
• 특징 수가 표본 수를 초과할 때조차도 LOO가 일致하는 조건을 설정하기 위해.

제안 방법

• 표본 크기 $ n $ 과 특징 수 $ p $ 가 동시에 무한으로 갈 때의 고차원 점근적 프레임워크를 사용하여 LOO의 이론적 분석을 수행하며, $ n/p $ 가 1보다 작을 수도 있음을 고려한다.
• LOO 추정에 대한 기대 제곱오차 $ \mathbb{E}[|\text{LO} - \text{Err}_{\text{out}}|^2] $ 에 대한 유한표본 상한 경계를 유도한다.
• 손실 함수 $ \ell(y|\bm{x}^\top\bm{\beta}) $ 와 정규화항 $ r(\bm{\beta}) $ 의 모멘트 경계를 사용하며, 하위가우시안 및 하위웨이불 꼬리 성질을 활용한다.
• 편차를 데이터에 조건부로 제어하기 위해 농도 부등식과 모멘트 제어 기법을 적용한다.
• 추정 오차에 대한 균일한 제어를 확보하기 위해 설계 행렬과 손실 함수에 대한 조건을 설정한다.
• 희박성 $ \bm{\beta}^* $ 가 필요 없이 데이터 생성 과정에 대한 미약한 모멘트 및 규칙성 가정 하에서 LOO의 일致성을 증명한다.

실험 결과

연구 질문

• RQ1 어떤 조건 하에서 이탈한 하나의 관측치를 고려한 교차검증(LOO)이 고차원 설정에서 외부 표본 예측 오차를 일관되게 추정할 수 있는가?
• RQ2 표본 수 $ n $ 과 특징 수 $ p $ 가 모두 커질 때, 특히 $ p > n $ 일 때 LOO의 기대 제곱오차는 어떻게 행동하는가?
• RQ3 진짜 회귀계수의 희박성 가정 없이도 LOO에 대한 유한표본 오차 경계를 도출할 수 있는가?
• RQ4 고차원 모형에서 LOO와 확장 가능한 근사 LO 방법 간의 이론적 연결 고리는 무엇인가?
• RQ5 손실 함수와 정규화항에 대한 모멘트 조건은 LOO가 진짜 외부 표본 오차로 수렴하는 데 어떻게 影향을 미치는가?

주요 결과

• LOO와 진짜 외부 표본 예측 오차 사이의 기대 제곱오차는 $ n, p \to \infty $ 일 때 0으로 수렴하며, 이는 $ p/n \to \infty $ 일 때조차도 성립한다.
• 손실 함수와 정규화항의 모멘트 구조에 따라 의존하는 유한표본 상한 경계가 도출되었으며, 이는 $ \lambda $, $ r(\bm{\beta}^*) $, 및 $ p $ 에 명시적인 의존성을 포함한다.
• 진짜 계수 벡터 $ \bm{\beta}^* $ 에 대한 희박성 가정 없이도 분석이 성립하여, 밀도 높은 고차원 모형에 적용 가능하다.
• 응답 및 설계 분포에 대한 미약한 모멘트 조건 하에서 경계가 거의 날카로운 것으로 나타났다.
• 이론적 프레임워크는 확장 가능한 근사 LO 방법의 행동을 명확히 하여 그 정확성에 대한 기준을 제공한다.
• 유도 과정은 LOO가 비희박 영역에서도 일관성을 유지함을 확인하여 현대 고차원 문제에서의 강건성을 뒷받침한다.