[논문 리뷰] Sparse Approximate Cross-Validation for High-Dimensional GLMs.

William Stephenson, Tamara Broderick|arXiv (Cornell University)|2019. 05. 31.

Machine Learning and Data Classification인용 수 1

한 줄 요약

이 논문은 고차원 일반선형모형(GLMs)에 대해 희박성(sparsity)을 활용하여 계산 비용을 줄이고 정확도를 향상시키기 위해 희박한 근사 이탈한 한 개의 교차검증(LOOCV) 방법을 제안한다. 이론적·실험적으로, 경험적으로 복구된 작은 지지집합(support set)에 집중함으로써, 전체 차원성과는 무관하게 지지집합 크기만에 비례하는 런타임으로 근사 LOOCV 정확도를 달성함을 보여준다.

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

연구 동기 및 목표

• 고차원 일반선형모형(GLMs)에서 정확한 이탈한 한 개의 교차검증(LOOCV)의 높은 계산 비용을 해결한다.
• 특히 고정된 차원성 가정에 의존하는 방법들을 포함해, 고차원 설정에서의 LOOCV 근사 방법을 식별하고 평가한다.
• 대부분의 이전 근사 방법이 매개변수의 고차원성과 비희박성 조건에서 정확도가 악화됨에 따라 고차원에서 실패함을 보여준다.
• 매개변수 벡터의 희박성을 활용하여 정확도와 효율성을 유지하는 새로운 근사 방법을 제안하고 검증한다.
• 이론적·실험적으로, 방법의 성능이 전체 매개변수 공간의 차원이 아니라 진짜 지지집합의 크기에만 의존함을 보여준다.

제안 방법

• GLMs의 고차원 매개변수 벡터에서 희박성을 활용하는 새로운 LOOCV 근사 방법을 제안한다.
• 데이터의 주요 신호를 포괄하는 중요한 특징들의 작은 부분집합을 경험적으로 복구하는 단계를 활용한다.
• 이 작은 경험적 지지집합에 국한하여 LOOCV 근사 계산을 수행함으로써 계산 부담을 감소시킨다.
• 이론적 분석은 희박성 가정 하에 근사 오차가 배경 차원이 아니라 진짜 지지집합의 크기로 제어됨을 보여준다.
• 핵심 통찰은, 복구된 지지집합 위에서 축소된 최적화 문제를 푸는 것으로 LOOCV 오차를 정확하게 추정할 수 있다는 것이다.
• 알고리즘은 계산적으로 효율적이며, 런타임이 전체 차원이 아니라 지지집합 크기의 세제곱에 비례한다.

실험 결과

연구 질문

• RQ1 기존의 근사 LOOCV 방법들은 매개변수 차원이 큰 고차원 GLMs에서 정확도를 유지할 수 있는가?
• RQ2 매개변수가 저차원이 아닌 고차원 설정에서 많은 직관적인 근사 방법이 실패하는 이유는 무엇인가?
• RQ3 진짜 매개변수 벡터의 희박성을 활용하여 계산적으로 효율적이고 정확한 LOOCV 근사 방법을 설계할 수 있는가?
• RQ4 희박한 LOOCV 근사가 근사 정확도에 도달하기 위한 이론적 조건은 무엇인가?
• RQ5 진짜 매개변수가 희박할 경우, 이 근사의 런타임이 고차원 문제에 대해 확장 가능한가?

주요 결과

• 대부분의 기존 근사 LOOCV 방법은 고차원 설정에서 성능이 열악하며, 차원이 증가함에 따라 정확도가 급격히 악화된다.
• 제안된 희박한 근사 방법은 진짜 매개변수가 희박할 경우 고차원 GLMs에서도 높은 정확도를 유지한다.
• 이 방법의 런타임은 경험적으로 복구된 지지집합의 크기의 세제곱에 비례하며, 전체 매개변수 차원에는 영향을 받지 않아 확장성이 보장된다.
• 이론적 분석은 희박성 가정 하에 근사 오차가 배경 차원이 아니라 진짜 지지집합의 크기로 제한됨을 보여준다.
• 실험 결과는 이 방법이 정확도는 LOOCV 수준에 도달하면서도 고차원 설정에서 정확한 LOOCV보다 훨씬 빠르다는 것을 확인한다.
• 고차원 GLM 벤치마크에서 이 방법은 모든 테스트된 다른 근사 방법보다 정확도와 계산 효율성 측면에서 뛰어나다.