[논문 리뷰] The Theory Behind Overfitting, Cross Validation, Regularization, Bagging, and Boosting: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning인용 수 149

한 줄 요약

이 튜토리얼은 회귀 및 분류에서 SURE 및 편향-분산 분석을 사용하여 과적합, 교차 검증, 정규화, 배깅, 부스팅의 이론을 설명합니다.

ABSTRACT

In this tutorial paper, we first define mean squared error, variance, covariance, and bias of both random variables and classification/predictor models. Then, we formulate the true and generalization errors of the model for both training and validation/test instances where we make use of the Stein's Unbiased Risk Estimator (SURE). We define overfitting, underfitting, and generalization using the obtained true and generalization errors. We introduce cross validation and two well-known examples which are $K$-fold and leave-one-out cross validations. We briefly introduce generalized cross validation and then move on to regularization where we use the SURE again. We work on both $\\ell_2$ and $\\ell_1$ norm regularizations. Then, we show that bootstrap aggregating (bagging) reduces the variance of estimation. Boosting, specifically AdaBoost, is introduced and it is explained as both an additive model and a maximum margin model, i.e., Support Vector Machine (SVM). The upper bound on the generalization error of boosting is also provided to show why boosting prevents from overfitting. As examples of regularization, the theory of ridge and lasso regressions, weight decay, noise injection to input/weights, and early stopping are explained. Random forest, dropout, histogram of oriented gradients, and single shot multi-box detector are explained as examples of bagging in machine learning and computer vision. Finally, boosting tree and SVM models are mentioned as examples of boosting.

연구 동기 및 목표

• 랜덤 변수와 모델에 대해 평균 제곱 오차(MSE), 분산, 공분산, 편향을 정의한다.
• Stein의 편향되지 않은 위험 추정기(SURE)를 사용하여 실제 오류와 일반화 오류를 구분한다.
• 교차 검증(K-폴드 및 Leave-One-Out)과 일반화 교차 검증을 도입하고 정규화에 대해 논의한다.
• 정규화(ridge 및 lasso)와 그것이 모델 복잡도에 미치는 영향을 설명한다.
• 배깅과 부스팅(AdaBoost 포함)을 설명하고 부스팅을 SVM/최대 마진 아이디어와 연관 짓는다.
• ML 및 컴퓨터 비전에서의 정규화 및 앙상블 방법의 예제를 제공한다.

제안 방법

• SURE를 사용하여 훈련 및 검증/테스트 데이터에 대한 실제 오차와 일반화 오차를 형식화한다.
• 추정기(앙상블 모델 포함)에 대한 편향, 분산 및 MSE를 도출하고 관련시킨다.
• K-폴드 및 LOOCV 절차를 훈련/테스트 분할의 정의와 함께 제시하고 속임수 경고를 포함한다.
• SURE를 통한 ℓ2 및 ℓ1 노름에 대한 일반화 교차 검증과 정규화를 도입한다.
• 배깅을 통한 분산 감소를 설명하고 부스팅을 가법 모델 및 SVM 개념과 연결한다.
• 실용적인 정규화 기법(ridge, lasso, 가중치 감소, 초기 중지, 잡음 주입) 및 앙상블 방법(random forests, dropout, histogram of oriented gradients, 단일 샷 다중 상자 탐지)을 논의한다.

실험 결과

연구 질문

• RQ1 학습 및 테스트 데이터의 실제 오차와 일반화 오차는 무엇이며, SURE를 사용하여 이를 편향 없이 추정할 수 있는가?
• RQ2 회귀 및 분류 설정에서 편향, 분산 및 MSE는 어떤 관계에 있으며, 앙상블 방법을 포함하여 어떻게 관련되는가?
• RQ3 교차 검증 전략(K-폴드, LOOCV)은 과적합을 방지하고 모델 복잡성을 선택하는 데 어떤 도움을 주는가?
• RQ4 정규화, 배깅, 부스팅은 모델 복잡도와 일반화 제어에서 어떤 역할을 하는가?
• RQ5 부스팅이 왜 과적합을 방지할 수 있는지 설명하는 실용적 해석과 경계는 무엇인가?

주요 결과

• 확률 변수와 모델 모두에 대한 평균 제곱 오차(MSE), 분산, 편향의 정의 및 관계가 제시된다.
• SURE는 교육 오차와 실제 오차를 연결하는 프레임워크를 제공하여 과적합 및 정규화 효과의 분석을 가능하게 한다.
• K-폴드 및 Leave-One-Out 교차 검증은 데이터 분할에 대한 지침과 잠재적 속임수 시나리오를 포함하여 형식화된다.
• 배깅은 추정기의 분산을 감소시키는 것으로 나타나며, 예시는 ML/CV의 랜덤 포레스트, 드롭아웃 및 CV 기법을 포함한다.
• 부스팅은 가법 모델이자 최대 마진(SVM 유사) 접근 방식으로 논의되며, 과적합에 대한 저항성을 정당화하기 위한 일반화 오류의 상한을 제시한다.
• 정규화(ridge, lasso, 가중치 감소, 잡음 주입, 초기 중지)가 동일한 편향-분산 프레임워크 내에서 검토된다.