[논문 리뷰] Approximate Cross-Validation in High Dimensions with Guarantees

William Stephenson, Tamara Broderick|arXiv (Cornell University)|2019. 05. 31.

Statistical Methods and Inference참고 문헌 45인용 수 5

한 줄 요약

이 논문은 높은 차원 설정에서 파라미터 벡터의 희소성에 기반하여 이탈한 하나의 교차검증(LOOCV)을 계산적으로 효율적이고 이론적으로 보장된 방법으로 근사하는 방법을 제안한다. 전체 데이터 피팅을 통해 작은, 경험적으로 복원 가능한 지지집합을 식별하고, 이 하위공간으로 LOOCV 근사의 범위를 제한함으로써, 전체 차원보다는 지지집합의 크기와 비례하는 낮은 오차와 런타임을 달성한다. 이는 전체 파라미터 차원이 크더라도 성립한다.

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

연구 동기 및 목표

• 고차원 설정에서 기존 LOOCV 근사 방법의 계산 불가능성과 정확도 저하 문제를 해결하기 위해.
• 이전의 히وري스틱 솔루션들이 고차원에서의 근사 LOOCV에 대해 체계적으로 평가되지 않은 채로 존재하는 문제를 평가하고 비교하기 위해.
• 진짜 파라미터가 희소할 경우, 높은 임베딩 차원에도 불구하고 정확도와 효율성을 유지할 수 있는 방법을 특정하기 위해.
• 해석 가능한 유한 표본 조건 하에서, 축소된 지지집합 근사를 이론적으로 정당화하기 위해.
• 런타임과 오차가 전체 차원이 아니라 진짜 지지집합의 크기만에 의존한다는 것을 보여주기 위해.

제안 방법

• 진짜 파라미터가 희소하다는 가정 하에, ℓ1 정규화를 사용하여 전체 모델을 한 번 피팅하여 희소 지지집합 S를 추정한다.
• LOOCV 근사 문제의 차원을 D에서 |S|로 줄이기 위해, 추정된 지지집합 S에 있는 좌표들로만 제한한다.
• 기존의 근사 LOOCV 방법들(예: 헤시안 또는 야코비안 근사 기반)을 오직 저차원 하위공간 S에서만 적용한다.
• 약한 조건 하에서, 모든 LOOCV 폴드에서 지지집합 S가 높은 확률로 공유된다는 것을 증명한다.
• 집중 불등식과 서브가우시안/서브지수 尾 꼬리 경계를 사용하여 헤시안과 기울기 노름과 같은 핵심 양의 편차를 통제한다.
• D가 크고 N과 함께 증가하더라도, |S|에 비례하는 오차 경계를 이론적으로 확립한다.

실험 결과

연구 질문

• RQ1 기존의 근사 LOOCV 방법들은 고차원 설정에서 빠르고 정확하게 만들 수 있는가?
• RQ2 왜 이론적 보장은 저차원에서는 성립하지만 고차원에서는 실패하는가?
• RQ3 어떤 조건에서 저차원 하위공간 근사가 고차원 LOOCV에서 정확도를 유지할 수 있는가?
• RQ4 유한 표본에서, 희소 파라미터의 지지집합이 모든 LOOCV 폴드에서 안정적인가?
• RQ5 근사 LOOCV의 계산 비용과 오차를 배경 차원이 아니라 진짜 지지집합의 크기로 제한할 수 있는가?

주요 결과

• 고차원에서의 근사 LOOCV를 위한 이전의 모든 방법들—하나를 제외하고는—정확도나 효율성을 유지하지 못해 실용적으로 사용할 수 없다.
• 이 논문에서 제안한 방법은 전체 데이터셋에서 복원한 희소 지지집합에 근거하여 근사를 제한함으로써, 오차와 런타임이 지지집합 크기 |S|에 비례하며, 전체 차원 D에 비례하지 않는 저비용·저오차 성능을 달성한다.
• 이론적 분석을 통해, 조건이 약하고 해석 가능한 유한 표본 조건 하에서도 지지집합 S가 모든 LOOCV 폴드에서 높은 확률로 공유됨을 증명하였다. 이는 D = o(e^N)일 때도 성립한다.
• 선형 회귀 및 로지스틱 회귀의 경우, 오차와 런타임이 오직 |S|에 의존하며, |S|가 감소할수록 오차 경계가 향상된다.
• 경험적 결과는 D가 크고 N이 중간일 때도 높은 정확도를 유지함을 확인하였으며, 속도와 안정성 면에서 다른 방법들에 비해 수십 배에서 수백 배 빠르게 성능을 뛰어넘는다.
• 이 방법은 고차원 설계 행렬에 대해 강건하며, 서브가우시안 설계 조건 하에서 핵심 양(예: 헤시안 및 기울기 노름)에 대한 확률적 경계를 제공하여 안정성을 보장한다.