[논문 리뷰] A scalable estimate of the extra-sample prediction error via approximate leave-one-out

Kamiar Rahnama Rad, Arian Maleki|arXiv (Cornell University)|2018. 01. 30.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 21

한 줄 요약

이 논문은 고차원 설정에서 샘플 외 예측 오차를 추정하기 위한 계산적으로 효율적인 방법인 ALO(근사적 한 개 제외)를 제안한다. 단일 뉴턴 단계와 저랭크 행렬 근사법을 활용함으로써 ALO는 최소한의 계산 부담으로 이론적으로는 n, p → ∞ 일 때 거의 0에 수렴하는 편향을 가지는 이론적 폐쇄형 추정을 제공한다. 스파arsity 가정 없이도 성립한다.

ABSTRACT

The paper considers the problem of out-of-sample risk estimation under the high dimensional settings where standard techniques such as $K$-fold cross validation suffer from large biases. Motivated by the low bias of the leave-one-out cross validation (LO) method, we propose a computationally efficient closed-form approximate leave-one-out formula (ALO) for a large class of regularized estimators. Given the regularized estimate, calculating ALO requires minor computational overhead. With minor assumptions about the data generating process, we obtain a finite-sample upper bound for $| ext{LO} - ext{ALO}|$. Our theoretical analysis illustrates that $| ext{LO} - ext{ALO}| ightarrow 0$ with overwhelming probability, when $n,p ightarrow \infty$, where the dimension $p$ of the feature vectors may be comparable with or even greater than the number of observations, $n$. Despite the high-dimensionality of the problem, our theoretical results do not require any sparsity assumption on the vector of regression coefficients. Our extensive numerical experiments show that $| ext{LO} - ext{ALO}|$ decreases as $n,p$ increase, revealing the excellent finite sample performance of ALO. We further illustrate the usefulness of our proposed out-of-sample risk estimation method by an example of real recordings from spatially sensitive neurons (grid cells) in the medial entorhinal cortex of a rat.

연구 동기 및 목표

• n과 p가 크고 n/p가 고정된 고차원 설정에서 K-폴드 교차검증의 높은 편향 문제를 해결한다.
• 편향이 낮은 이론적 성질을 유지하면서도 계산적으로 효율적인 이론적 폐쇄형 근사치를 제공하는 이론적 폐쇄형 근사치를 개발한다.
• LASSO와 같은 비연속적인 정규화 방법을 포함한 광범위한 정규화 추정량에 대해 이론적 폐쇄형 근사치를 제공한다.
• 이론적으로 유한 표본에서 LO와 ALO의 차이에 대한 경계를 도출하여, n, p → ∞ 일 때 |LO − ALO| → 0 임을 보여준다.
• 실제 랫 뇌의 격자 세포 데이터를 통해 실용적 유용성을 입증하며, ALO가 빠르고 정확한 모델 선택을 가능하게 한다.

제안 방법

• 정규화된 최적화 문제에 대해 단일 뉴턴 단계를 적용하여 이론적 폐쇄형 근사치를 제안한다.
• 손실 함수의 헤시안과 기울기 기반으로 근사적 한 개 제외 오차에 대한 분석적 표현을 유도한다.
• 저랭크 행렬 항등식을 활용하여 ALO 근사치에 필요한 리지드 스코어를 효율적으로 계산한다.
• 설계 행렬을 정규화하고 매개변수를 재스케일링하여 근사치의 안정성과 해석 가능성 확보한다.
• ℓ1-노름(LASSO), 엘라스틱 넷, 포isson 회귀와 같이 미분 가능하지 않은 정규화자를 갖는 일반화선형 모델에 ALO 공식을 적용한다.
• ALO 추정치를 정규화 매개변수 λ 튜닝을 위한 모델 선택 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 고차원 정규화 모델에 대해 계산적으로 효율적인 이론적 폐쇄형 근사치를 도출할 수 있는가?
• RQ2 표본 수가 유한하고 n, p가 클 경우 ALO 추정치가 진짜 한 개 제외 오차와 얼마나 가까운가?
• RQ3 스파arsity 가정 없이도 K-폴드 CV가 실패하는 고차원 설정에서 ALO는 낮은 편향을 유지하는가?
• RQ4 LASSO와 같은 비연속 정규화자에 대해서도 ALO는 정확한 위험 추정을 제공할 수 있는가?
• RQ5 실제 응용 분야, 예를 들어 공간적으로 민감한 뉴런의 발화율 모델 튜닝에서 ALO는 어떻게 성능을 발휘하는가?

주요 결과

• ALO는 |LO − ALO|에 대해 표본 수가 충분히 클 경우 거의 확실하게 수렴하는 표본 유한한 상한을 확보한다.
• 수치 실험 결과에서 n과 p가 증가함에 따라 |LO − ALO|가 감소하는 것으로 확인되어 이론적 수렴을 검증한다.
• 실제 신경 데이터 사례에서 LO 대비 계산 비용을 수 개의 주기로 감소시켰다. 예를 들어, 약 60,000초에서 약 7초로 감소하였다.
• 격자 세포 발화율 모델에서 ALO는 λ를 적절히 튜닝하여 과도하게 매끄럽지 않은 정확한 레이트 맵을 생성했으며, LO 결과와 일치하였다.
• n > p, n = p, n < p 등 다양한 데이터 환경에서 일관된 성능을 보이며 시간과 정확성 측면에서 안정적인 성능을 발휘한다.
• 특히 K-폴드 CV가 심각한 편향을 유발하는 고차원 설정에서 ALO는 모델 선택에 신뢰할 수 있는 대안을 제공한다.