[논문 리뷰] Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning

Sebastian Raschka|arXiv (Cornell University)|2018. 11. 13.

Machine Learning and Data Classification인용 수 574

한 줄 요약

모델 평가, 모델 선택, 알고리즘 선택 기법에 대한 포괄적 검토로, 장단점, 실용적 지침, 소규모 데이터셋 및 다중 비교에 대한 권고를 포함.

ABSTRACT

The correct use of model evaluation, model selection, and algorithm selection techniques is vital in academic machine learning research as well as in many industrial settings. This article reviews different techniques that can be used for each of these three subtasks and discusses the main advantages and disadvantages of each technique with references to theoretical and empirical studies. Further, recommendations are given to encourage best yet feasible practices in research and applications of machine learning. Common methods such as the holdout method for model evaluation and selection are covered, which are not recommended when working with small datasets. Different flavors of the bootstrap technique are introduced for estimating the uncertainty of performance estimates, as an alternative to confidence intervals via normal approximation if bootstrapping is computationally feasible. Common cross-validation techniques such as leave-one-out cross-validation and k-fold cross-validation are reviewed, the bias-variance trade-off for choosing k is discussed, and practical tips for the optimal choice of k are given based on empirical evidence. Different statistical tests for algorithm comparisons are presented, and strategies for dealing with multiple comparisons such as omnibus tests and multiple-comparison corrections are discussed. Finally, alternative methods for algorithm selection, such as the combined F-test 5x2 cross-validation and nested cross-validation, are recommended for comparing machine learning algorithms when datasets are small.

연구 동기 및 목표

• 일반화 성능 평가의 역할과 목표를 명확히 한다.
• 일반적인 방법들(홀드아웃, 교차 검증, 부트스트랩)과 그 편향, 절충, 적용 가능성을 조사한다.
• 연구의 엄밀성과 실제 ML 실천을 개선하기 위한 실용적 권고를 제공한다.

제안 방법

• 홀드아웃 검증과 그 편향(층화 및 비관적 편향 포함)을 설명한다.
• 부트스트랩 방법과 성능의 불확실성을 추정하는 방식에 대해 소개한다.
• 교차 검증(또는 k-겹, leave-one-out 포함)과 하이퍼파라미터 튜닝 versus 모델 선택에 대해 논의한다.
• 다수의 알고리즘 비교를 위한 통계적 검정(예: McNemar, F-검정, Cochran’s Q)과 다중 검정 보정을 제시한다.
• 알고리즘 비교를 위한 고급 전략(예: 5x2 교차검증, 중첩 교차검증)을 설명한다.
• 소규모 데이터셋과 간결성의 법칙에 대한 고려사항을 강조한다.

실험 결과

연구 질문

• RQ1 다양한 평가 전략(홀드아웃, 교차 검증, 부트스트랩)이 일반화 성능을 어떻게 추정하고 모델/알고리즘 선택을 어떻게 지원하는가?
• RQ2 각 방법에서 어떤 편향과 분산가 발생하며, 층화와 샘플 크기가 그것에 어떻게 영향을 주는가?
• RQ3 다수의 알고리즘을 비교하기에 dataset 크기 제약 하에서 어떤 검정 및 보정 절차가 최선인가?
• RQ4 연구 및 응용에서 모델 평가의 신뢰성과 타당성을 최적화하기 위한 실용적 권고는 무엇인가?

주요 결과

• 홀드아웃 방법은 낙관적 편향을 도입할 수 있으며 소규모 데이터셋에는 덜 적합하다; 층화가 클래스 분포 문제를 완화한다.
• 부트스트랩과 반복 재샘플링은 성능 추정치 주변의 불확실성 추정 방법을 제공한다.
• k-겹 교차검증은 k에 의해 좌우되는 편향-분산 트레이드를 포함하며, k를 선택하는 가이드 및 모델 선택 용도를 위한 조언이 제시된다.
• 통계적 검정(예: McNemar, F-검정, Cochran’s Q)과 다중 검정 보정은 분류기를 비교하기 위한 논의이다.
• 소규모 데이터셋의 경우 5x2 교차검증 및 중첩 교차검증과 같은 결합 접근이 알고리즘 비교에 권장된다.
• 본 논문은 일반화 성능과 모델/알고리즘 선택을 위한 상대 성능의 차이를 강조한다.