[논문 리뷰] Approximate Leave-One-Out for High-Dimensional Non-Differentiable Learning Problems

Shuaiwen Wang, Wenda Zhou외 3명|arXiv (Cornell University)|2018. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 고차원 비미분 가능 학습 문제에서 이탈한 하나의 샘플을 고려한 교차검증(LOOCV) 위험을 근사하기 위한 계산적으로 효율적인 세 가지 프레임워크—원시, 쌍대, 보조—를 제안한다. 이 방법들은 LASSO, SVM, 핵자기준 등 비연속 손실과 정규화 함수에 대해 정확한 하이퍼파rameter 튜닝을 가능하게 하며, 미분 가능일 경우 이전의 스무스한 방법과 동치임을 다양한 시뮬레이션을 통해 검증한다.

ABSTRACT

Consider the following class of learning schemes: \begin{equation} \label{eq:main-problem1} \hat{\boldsymbolβ} := \underset{\boldsymbolβ \in \mathcal{C}}{\arg\min} \;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbolβ; y_j) + λR(\boldsymbolβ), \qquad \qquad \qquad (1) \end{equation} where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ m th}$ feature and response variable respectively. Let $\ell$ and $R$ be the convex loss function and regularizer, $\boldsymbolβ$ denote the unknown weights, and $λ$ be a regularization parameter. $\mathcal{C} \subset \mathbb{R}^{p}$ is a closed convex set. Finding the optimal choice of $λ$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose three frameworks to obtain a computationally efficient approximation of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our three frameworks are based on the primal, dual, and proximal formulations of (1). Each framework shows its strength in certain types of problems. We prove the equivalence of the three approaches under smoothness conditions. This equivalence enables us to justify the accuracy of the three methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

연구 동기 및 목표

• 고차원 환경에서 n과 p가 큰 경우 정확한 이탈한 하나의 샘플을 고려한 교차검증(LOOCV)의 높은 계산 비용을 해결하기 위해.
• 허프만 손실 및 L1 정규화와 같은 비미분 가능 손실 함수와 정규화 함수를 위한 계산적으로 효율적인 LOOCV 위험 근사 방법을 개발하기 위해.
• 데이터 분할이 고차원 영역에서의 단계 전이로 인해 불안정해지는 상황에서도 효과적으로 유지되는 통합적이고 정확한 근사 방법을 제공하기 위해.
• 기존의 스무스한 LOOCV 근사 방법을 비스무스한 설정으로 확장하여 현대 기계학습 문제에서의 신뢰성을 확보하기 위해.
• 일반화된 LASSO, 서포트 벡터 머신, 핵자기준 정규화에서 제안된 근사의 정확성을 실증적으로 검증하기 위해.

제안 방법

• 원시 프레임워크는 원래 최적화 문제의 스무딩과 이차 근사를 통해 근사적 이탈한 하나의 샘플 추정치를 유도한다.
• 쌍대 프레임워크는 학습 문제의 쌍대를 근사하여 ALO 근사를 도출하며, 볼록 쌍대성을 활용한다.
• 보조 프레임워크는 최적화 문제에 보조 알고리즘을 적용하여 반복적 갱신을 통해 이탈한 하나의 샘플 예측을 효율적으로 계산한다.
• 손실 함수와 정규화 함수가 두 번째 미분 가능할 경우, 세 프레임워크는 동치임을 증명하였으며, 이는 [43]의 이전 결과와 일치한다.
• 일반화된 LASSO, 핵자기준 최소화, 서포트 벡터 머신에 대해 닫힌 형태의 ALO 공식을 유도하기 위해 적용하였다.
• 이론적 분석은 스무스 조건 하에서 근사의 수렴성을 보여주며, 수치적 검증을 통해 비스무스한 경우의 정확성을 확인하였다.

실험 결과

연구 질문

• RQ1 비미분 가능 손실과 정규화를 가진 고차원 문제에 대해 계산적으로 효율적인 LOOCV 위험 근사 방법을 개발할 수 있는가?
• RQ2 다양한 유형의 학습 문제에서 원시, 쌍대, 보조 프레임워크는 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 세 제안된 프레임워크가 동치가 되는 조건은 무엇이며, 이러한 동치성은 그 정확성을 어떻게 검증하는가?
• RQ4 k-폴드 교차검증이 편향을 보일 수 있는 고차원 영역에서 제안된 ALO 근사는 실제 예측 오차를 신뢰성 있게 추정할 수 있는가?
• RQ5 일반화된 LASSO, SVM, 저질서 행렬 복원과 같은 실제 모델에 대해 근사는 실증적으로 얼마나 잘 성능을 발휘하는가?

주요 결과

• 제안된 ALO 근사는 비미분 가능 문제, 예를 들어 LASSO와 SVM에 대해서도 실제 외부 샘플 예측 오차를 매우 정확하게 추정하며, 고차원 영역에서 편향이 있는 k-폴드 CV를 능가한다.
• 스무스한 손실 함수와 정규화 함수가 존재할 경우, 세 프레임워크는 동일한 ALO 공식을 생성하며, 이는 [43]의 결과와 일치하여 이론적 일致성을 검증한다.
• 원시, 쌍대, 보조 프레임워크는 문제의 구조에 따라 상호보완적인 강점을 보이며, 특히 희박성과 저질서 모델에 대해 보조 접근이 뛰어난 성능을 보인다.
• 실증 결과는 n=5000, p=4000 조건에서의 시뮬레이션에서 ALO 근사가 고차원 단계 전이 상황에서도 진짜 외부 샘플 오차를 정확히 따라가며 성능을 발휘함을 보여준다.
• 핵자기준과 같은 비스무스한 정규화 함수, 허프만 손실과 같은 비스무스한 손실 함수를 효과적으로 처리하여, 스무스한 설정을 넘어서 LOOCV 근사 적용 범위를 확장한다.
• 수렴 분석을 통해 스무딩 파rameter ε→0 일 때 근사가 여전히 유효함을 확인하였으며, 헤시안 행렬의 비대각항과 대각항이 적절히 수렴하여 일致한 추정량을 도출함을 보여준다.