[논문 리뷰] Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning

Sebastian Raschka|arXiv (Cornell University)|2018. 11. 13.

Machine Learning and Data Classification참고 문헌 27인용 수 255

한 줄 요약

일반화 평가 방법, 모델 선택 및 알고리즘 선택에 관한 방법들에 대한 고찰과, 편향, 홀드아웃, 교차검증, 부트스트래핑, 및 통계적 검정에 대한 지침을 제공합니다.

ABSTRACT

The correct use of model evaluation, model selection, and algorithm selection techniques is vital in academic machine learning research as well as in many industrial settings. This article reviews different techniques that can be used for each of these three subtasks and discusses the main advantages and disadvantages of each technique with references to theoretical and empirical studies. Further, recommendations are given to encourage best yet feasible practices in research and applications of machine learning. Common methods such as the holdout method for model evaluation and selection are covered, which are not recommended when working with small datasets. Different flavors of the bootstrap technique are introduced for estimating the uncertainty of performance estimates, as an alternative to confidence intervals via normal approximation if bootstrapping is computationally feasible. Common cross-validation techniques such as leave-one-out cross-validation and k-fold cross-validation are reviewed, the bias-variance trade-off for choosing k is discussed, and practical tips for the optimal choice of k are given based on empirical evidence. Different statistical tests for algorithm comparisons are presented, and strategies for dealing with multiple comparisons such as omnibus tests and multiple-comparison corrections are discussed. Finally, alternative methods for algorithm selection, such as the combined F-test 5x2 cross-validation and nested cross-validation, are recommended for comparing machine learning algorithms when datasets are small.

연구 동기 및 목표

• 일반화 성능을 모델 및 알고리즘 선택과 구별하여 추정하는 방법을 설명한다.
• 홀드아웃, 교차검증, 부트스트래핑 접근법을 대비하고 이들의 바이어스-분산 trade-off를 논의한다.
• 알고리즘 비교를 위한 통계적 검정과 다중비교 보정에 대해 논의한다.
• 모든 데이터셋 크기에서의 모범 사례와, 모델 선택 중 특징(feature) 선택에 대한 권고를 제공한다.

제안 방법

• ML에서 사용되는 일반적인 평가 및 선택 기법을 검토하고 합성한다.
• 평가 과제를 명확히 하기 위한 i.i.d. 데이터 등 가정과 용어를 논의한다.
• 홀드아웃 검증, 층화(stratification), 그리고 비관적 편향을 예시를 통해 설명한다.
• 불확실성을 정량화하기 위한 방법으로 부트스트래핑과 반복적 홀드아웃을 제시한다.
• k-겹 교차검증을 설명하고, 그 바이어스-분산 trade-off 및 모델 선택에의 시사점을 논한다.
• 분류기와 알고리즘을 비교하기 위한 통계적 검정(예: F-검정, McNemar, Dietterich의 5x2cv t-검정, Alpaydin의 5x2cv F-검정)을 조사하고, 중첩 교차검증에 대해 논의한다.

실험 결과

연구 질문

• RQ1 모델 평가 및 선택을 위한 홀드아웃 검증의 강점과 한계는 무엇인가?
• RQ2 성능 지표의 불확실성 추정에서 부트스트래핑 및 재샘플링 방법은 교차검증과 어떻게 비교되는가?
• RQ3 분류기와 알고리즘을 비교하는 데 적합한 통계적 검정은 무엇이며, 다중 비교는 어떻게 처리해야 하는가?
• RQ4 작은 데이터셋과 큰 데이터셋에서의 알고리즘 및 모델 선택에 대한 실용적인 권고는 무엇인가?
• RQ5 층화가 성능 추정치 및 교차검증의 편향과 분산에 어떤 영향을 미치는가?

주요 결과

• 홀드아웃 검증은 간단하지만 작은 데이터셋에서 편향이 있으며; 층화는 편향과 분산을 완화할 수 있다.
• 반복적 홀드아웃과 부트스트랩 방법은 단일 분할보다 더 견고한 불확실성 추정치를 제공한다.
• k-겹 교차검증은 편향-분산 트레이드오프를 포함하며 이는 모델 선택에 활용을 결정한다.
• 다양한 통계적 검정(예: McNemar, F-검정, Dietterich의 5x2cv 검정, Alpaydin의 5x2cv F-검정)은 알고리즘 비교를 지원하고 다중 비교를 제어한다.
• 작은 데이터셋에서 알고리즘을 비교할 때 중첩 교차검증과 결합된 5x2cv F-검정이 권장된다.
• 본 논문은 단순성의 법칙, 과적합 위험, 훈련 데이터와 테스트 데이터의 분리 중요성 등 실용적 고려사항을 강조한다.