[논문 리뷰] On Optimal Generalizability in Parametric Learning

Ahmad Beirami, Meisam Razaviyayn외 2명|arXiv (Cornell University)|2017. 11. 14.

Machine Learning and Data Classification참고 문헌 17인용 수 14

한 줄 요약

이 논문은 정규화된 파라미터 학습을 위한 이탈한 하나의 샘플 교차검증(LOOCV)에 대한 효율적인 근사 방법(ALOOCV)을 제안하여, 샘플 외 일반화 오차를 신속하고 정확하게 추정할 수 있도록 한다. 영향도 함수와 이론적 보장을 활용하여 경사하강법을 통해 정규화 하이퍼파rameter를 최적화하며, O(n) 복잡도로 O(n²)보다 훨씬 빠른 계산 속도를 확보하면서도 거의 LOOCV 수준의 정확도를 달성한다.

ABSTRACT

We consider the parametric learning problem, where the objective of the learner is determined by a parametric loss function. Employing empirical risk minimization with possibly regularization, the inferred parameter vector will be biased toward the training samples. Such bias is measured by the cross validation procedure in practice where the data set is partitioned into a training set used for training and a validation set, which is not used in training and is left to measure the out-of-sample performance. A classical cross validation strategy is the leave-one-out cross validation (LOOCV) where one sample is left out for validation and training is done on the rest of the samples that are presented to the learner, and this process is repeated on all of the samples. LOOCV is rarely used in practice due to the high computational complexity. In this paper, we first develop a computationally efficient approximate LOOCV (ALOOCV) and provide theoretical guarantees for its performance. Then we use ALOOCV to provide an optimization algorithm for finding the regularizer in the empirical risk minimization framework. In our numerical experiments, we illustrate the accuracy and efficiency of ALOOCV as well as our proposed framework for the optimization of the regularizer.

연구 동기 및 목표

• 대규모 파라미터 학습에서 이탈한 하나의 샘플 교차검증(LOOCV)의 높은 계산 비용을 해결한다.
• 샘플 외 일반화 오차를 높은 정확도로 추정하면서도 계산 비용을 효율적으로 줄이는 LOOCV의 근사 방법인 ALOOCV를 개발한다.
• ALOOCV를 기반으로 하이퍼파rameter와 모델 파라미터를 동시에 경사하강법으로 최적화할 수 있도록 한다.
• 정규 조건 하에서 ALOOCV가 타케우치 정보기준(TIC)과 渐近적으로 동일함을 보여주는 이론적 근거를 제공한다.
• 로지스틱 회귀와 엘라스틱넷을 포함한 준매끄침과 비매끄러운 정규화 문제에서의 강건한 성능을 입증한다.

제안 방법

• 영향도 함수를 활용한 1차 근사로 LOOCV에 대한 ALOOCV를 제안하며, 은밀한 함수 정리로부터 이탈한 샘플의 변화를 추정한다.
• 정리 1을 사용하여 손실 함수의 기울기와 정규화된 손실 함수의 헤시안을 통해 ALOOCV 추정치를 효율적으로 계산한다.
• ALOOCV 추정치를 활용해 샘플 외 오차에 대한 하이퍼파rameter에 대한 기울기를 계산하여, 기울기 기반 최적화를 가능하게 한다.
• 서브기울기 기반 근사와 스무딩 기법을 사용해 비매끄러운 정규화자(예: ℓ1)를 다룰 수 있도록 프레임워크를 확장한다.
• 알고리즘 1과 2를 하이퍼파rameter 튜닝에 구현하며, 알고리즘 2는 반복 최적화를 위해 ALOOCV를 사용해 기울기를 계산한다.
• MNIST와 CIFAR-10 데이터셋을 사용해 로지스틱 회귀와 엘라스틱넷 회귀 작업에서 ALOOCV를 정확한 LOOCV와 영향도 함수 근사와 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 샘플 외 일반화 오차 추정에 대해 높은 정확도를 유지하면서도 계산 비용을 효율적으로 줄일 수 있는 LOOCV 근사 방법을 도출할 수 있는가?
• RQ2 실제 데이터셋에서 ALOOCV 추정치가 정확도와 런타임 측면에서 정확한 LOOCV와 영향도 함수 기반 근사와 비교해 어떻게 성능을 내는가?
• RQ3 ALOOCV를 통해 정규화 학습에서 하이퍼파rameter에 대한 기울기 기반 최적화를 얼마나 효과적으로 수행할 수 있는가?
• RQ4 특히 ALOOCV가 기존 정보기준(예: TIC)과 渐近적으로 동일함을 보일 수 있는 이론적 보장은 무엇인가?
• RQ5 엘라스틱넷 회귀에서 ℓ1-노름과 같은 비매끄러운 정규화자가 존재할 경우 ALOOCV는 얼마나 잘 작동하는가?

주요 결과

• MNIST와 CIFAR-10 데이터셋에서 ALOOCV는 정확한 LOOCV와 거의 동일한 성능을 보였으며, CV 벡터와 ACV 벡터 간의 정규화된 차이가 95%의 경우에서 5% 이내였다.
• MNIST에서 ALOOCV 추정치는 샘플 내 손실이 가장 높은 8개의 이상치에 대해 LOOCV와 0.24 이내로 근접했으며, 영향도 함수 근사는 진짜 샘플 외 손실을 포착하지 못했다.
• 로지스틱 회귀에서 ALOOCV는 샘플당 약 1초가 걸렸고, LOOCV는 약 60초가 걸려 하이퍼파ram터 튜닝에 소요되는 총 시간을 수일에서 수시간으로 줄였다.
• 엘라스틱넷 회귀에서 ALOOCV는 반복 과정 전반에 걸쳐 LOOCV와 유사한 경향을 보였으며, 둘 다 10회 이내의 최적화 단계로 손실을 크게 감소시켰다.
• ALOOCV의 런타임은 n에 대해 선형적으로 증가(O(n))하지만, LOOCV는 이차적으로 증가(O(n²))하며, 표본 크기가 커질수록 런타임 비율이 급격히 증가했다.
• 정규 조건 하에서 ALOOCV는 타케우치 정보기준(TIC)과 渐近적으로 동일했으며, 이는 이론적 기반의 타당성을 입증한다.