[논문 리뷰] Approximate Leave-One-Out for Fast Parameter Tuning in High Dimensions.

Shuaiwen Wang, Wenda Zhou외 3명|arXiv (Cornell University)|2018. 07. 03.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 높은 차원의 학습 문제에서 부드럽지 않은 손실 함수와 정규화 항을 갖는 경우에 대해 이탈한 하나의 교육 예제를 고려한 교차 검증(LOOCV) 위험을 근사하기 위한 계산적으로 효율적인 두 가지 프레임워크—원시 및 이중 형태—를 제안한다. 이 방법은 일반화된 라소, 핵 노름 정규화, 서포트 벡터 기계와 같은 모델에서 정확하고 확장 가능한 ALO 추정치를 통해 빠른 하이퍼파ram터 튜닝을 가능하게 하며, 미분 가능하지 않은 설정에서 이론적 등가성과 경험적 검증을 제공한다.

ABSTRACT

Consider the following class of learning schemes: $$\hat{\boldsymbol{\beta}} := \arg\min_{\boldsymbol{\beta}}\;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbol{\beta}; y_j) + \lambda R(\boldsymbol{\beta}),\qquad\qquad (1) $$ where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ ext{th}}$ feature and response variable respectively. Let $\ell$ and $R$ be the loss function and regularizer, $\boldsymbol{\beta}$ denote the unknown weights, and $\lambda$ be a regularization parameter. Finding the optimal choice of $\lambda$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose two frameworks to obtain a computationally efficient approximation ALO of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our two frameworks are based on the primal and dual formulations of (1). We prove the equivalence of the two approaches under smoothness conditions. This equivalence enables us to justify the accuracy of both methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

연구 동기 및 목표

• 표본 수 $n$과 특징 차원 $p$가 모두 큰 고차원 학습 문제에서 최적의 정규화 파ram터 선택 문제를 해결하기 위해.
• 부드럽지 않은 손실 함수와 정규화 항을 위한 이탈한 하나의 교육 예제를 고려한 교차 검증(LOOCV) 위험에 대한 계산적으로 효율적인 근사치를 개발하기 위해.
• 손실 함수와 정규화 항에 부드러움 조건이 만족될 경우 원시 및 이중 형태의 근사 LOOCV(ALO) 간 이론적 등가성을 확립하기 위해.
• 일반화된 라소, 핵 노름 정규화, 서포트 벡터 기계와 같은 표준 고차원 문제에 대해 정확한 위험 추정치를 제공하기 위해.

제안 방법

• 단일 학습 예제를 제거했을 때 해 $\hat{\boldsymbol{\beta}}$에 미치는 영향을 분석함으로써 원시 기반 프레임워크를 제안하여 LOOCV 위험을 근사한다.
• 최적화 문제의 라그랑주 이중 문제를 활용하여 ALO 추정치를 도출하는 이중 기반 프레임워크를 개발한다.
• 손실 함수와 정규화 항에 부드러움 조건이 만족될 경우 원시 및 이중 ALO 근사치 간 이론적 등가성을 확립한다.
• 암시적 미분과 민감도 분석을 사용하여 ALO 위험 추정치에 대해 닫힌 형태 또는 다룰 수 있는 표현식을 유도한다.
• 일반화된 라소, 핵 노름을 통한 저랭크 행렬 복원, 서포트 벡터 기계(SVMs)와 같은 특정 모델들에 이 프레임워크를 적용한다.
• 수치 실험을 통해 비미분 가능 설정에서 ALO 근사치의 정확성과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 부드럽지 않은 손실 함수와 정규화 항을 갖는 고차원 모델에 대해 이탈한 하나의 교육 예제를 고려한 LOOCV에 대한 효율적인 근사치를 도출할 수 있는가?
• RQ2 정확성과 계산 비용 측면에서 원시 및 이중 형태의 ALO 근사치는 어떻게 비교되는가?
• RQ3 원시 및 이중 ALO 근사치가 이론적으로 등가가 되는 조건은 무엇인가?
• RQ4 제안된 ALO 프레임워크는 일반화된 라소와 SVMs와 같은 표준 고차원 문제에 대해 신뢰할 수 있는 위험 추정치를 제공할 수 있는가?
• RQ5 伝통적인 LOOCV가 계산적으로 금기인 비미분 가능 케이스에서 ALO 근사치는 얼마나 잘 성능을 발휘하는가?

주요 결과

• 제안된 ALO 근사치는 정확한 LOOCV에 비해 계산적으로 효율적인 대안을 제공하여, $O(n)$번의 해법에서 매 하이퍼파ram터 튜닝 단계당 단일 해법으로 비용을 감소시킨다.
• 손실 함수와 정규화 항에 부드러움 조건이 만족될 경우 원시 및 이중 ALO 프레임워크는 이론적으로 등가성이 성립한다.
• ALO 방법은 라소와 SVMs와 같은 비미분 가능 문제에서도 LOOCV 위험 추정치에 대해 높은 정확도를 달성한다.
• 경험적 결과는 ALO 근사치가 일반화된 라소, 핵 노름, SVM 설정 전반에서 최적의 정규화 파aram터를 효과적으로 식별함을 보여준다.
• 정확한 LOOCV가 계산 비용으로 인해 비현실적인 고차원 영역에서도 이 방법은 유리하게 확장 가능하다.