[논문 리뷰] Don't Waste Your Time: Early Stopping Cross-Validation

Edward M. Bergman, Lennart Purucker외 1명|arXiv (Cornell University)|2024. 05. 06.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 자동 기계 학습(AutoML)에서 k-폴드 교차 검증에 대한 단순한 조기 정지 전략을 제안한다. 이 전략은 구성이 현재 최고 성능보다 열 劣할 경우 첫 번째 폴드 이후 검증을 중단한다. 이 방법은 모델 선택을 평균 214% 빠르게 수렴시키며, 한 시간 이내에 167% 더 많은 구성(configuration)을 평가할 수 있게 하며, MLP 및 랜덤 포레스트 모델을 사용한 36개의 표본 데이터셋에서 3-, 5-, 10-폴드 교차 검증을 통해 전체 성능을 향상시킨다.

ABSTRACT

State-of-the-art automated machine learning systems for tabular data often employ cross-validation; ensuring that measured performances generalize to unseen data, or that subsequent ensembling does not overfit. However, using k-fold cross-validation instead of holdout validation drastically increases the computational cost of validating a single configuration. While ensuring better generalization and, by extension, better performance, the additional cost is often prohibitive for effective model selection within a time budget. We aim to make model selection with cross-validation more effective. Therefore, we study early stopping the process of cross-validation during model selection. We investigate the impact of early stopping on random search for two algorithms, MLP and random forest, across 36 classification datasets. We further analyze the impact of the number of folds by considering 3-, 5-, and 10-folds. In addition, we investigate the impact of early stopping with Bayesian optimization instead of random search and also repeated cross-validation. Our exploratory study shows that even a simple-to-understand and easy-to-implement method consistently allows model selection to converge faster; in ~94% of all datasets, on average by ~214%. Moreover, stopping cross-validation enables model selection to explore the search space more exhaustively by considering +167% configurations on average within one hour, while also obtaining better overall performance.

연구 동기 및 목표

• 시간 예산 내에서 고갈 가능한 초모수 탐색을 제한하는, AutoML에서 k-폴드 교차 검증의 높은 계산 비용 문제를 해결하기 위해.
• 교차 검증 중 조기 정지를 통해 성능을 희생시키지 않고도 모델 선택을 가속화할 수 있는지 조사하기 위해.
• 복잡한 초초모수 또는 구성 일시 정지 없이도 간단하고 쉽게 구현 가능한 조기 정지 전략을 평가하기 위해.
• 심지어 기본적인 조기 정지 방법이라도 AutoML 워크플로우에서 효율성과 효과성을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 저자들은 두 가지 단순한 조기 정지 규칙을 구현한다: '공격적'(현재 최고 성능보다 열 劣할 경우 첫 번째 폴드 후 정지) 및 '용서 많은'(기준치 이상 열 劣할 경우 첫 번째 폴드 후 정지).
• 이 방법들은 AutoML 벤치마크의 36개 분류 데이터셋에서 MLP 및 랜덤 포레스트 모델에 대해 랜덤 서치와 베이지안 최적화에 적용된다.
• 교차 검증은 3-, 5-, 10-폴드 분할로 수행되며, 반복 10-폴드 교차 검증도 평가된다.
• 조기 정지의 성능는 고정된 한 시간 예산 내에서 조기 정지 없이 표준 교차 검증과 비교된다.
• 이 방법은 구성 일시 정지를 피하고 복잡한 통계 테스트나 초초모수를 필요로 하지 않아, 구현 장벽을 최소화한다.
• 실험은 재현 가능하며, GitHub에 전체 코드, 문서 및 원시 결과가 함께 공개된다.

Figure 1: Speedup Overview Per Dataset for MLP with 10 folds: The time point of matching the best performance of No ES for each method per dataset. A marker indicates when a method reached the same or better performance than No ES . The solid black line visualizes the time saved by the fastest early

실험 결과

연구 질문

• RQ1 k-폴드 교차 검증 중 조기 정지를 통해 AutoML 모델 선택의 수렴 시간을 유의미하게 단축시킬 수 있는가?
• RQ2 조기 정지를 통해 고정된 시간 예산 내에서 초모수 탐색 공간을 더 광범위하게 탐색할 수 있는가?
• RQ3 조기 정지가 전체 교차 검증 대비 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 다른 폴드 수(3, 5, 10)는 조기 정지의 이점에 어떤 영향을 미치는가?
• RQ5 간단하고 쉽게 구현 가능한 조기 정지 규칙이 실질적으로 표준 교차 검증을 능가할 수 있는가?

주요 결과

• 36개 데이터셋 중 약 94%에서, 조기 정지는 전체 교차 검증 대비 평균 214% 더 빠르게 모델 선택 수렴을 가능하게 했다.
• 한 시간 이내 시간 예산 내에서, 조기 정지는 표준 교차 검증 대비 평균 167% 더 많은 초모수 구성 평가를 가능하게 했다.
• 이 방법은 일관되게 최종 모델 성능을 향상시켰으며, 검증 비용이 감소했음에도 일반화 능력이 손상되지 않았음을 시사한다.
• 이러한 이점은 다양한 알고리즘(MLP 및 랜덤 포레스트), 폴드 수(3, 5, 10), 최적화 전략(랜덤 서치 및 베이지안 최적화) 전반에서 관찰되었다.
• '공격적' 및 '용서 많은' 조기 정지 규칙은 모두 효과적이며 쉽게 구현 가능했으며, 최소한의 오버헤드를 가지며 복잡한 통계 테스트나 구성 일시 정지가 필요하지 않았다.
• 연구는 모든 실험을 데이터셋, 방법, 구성 전반에서 수행한 데 총 약 6.15 CPU 년의 계산 비용이 들었으며, 이는 약 10%의 오버헤드를 포함한다.

Figure 2: Footprint Plot for OpenML Task ID 168350 on outer fold 7: A configuration footprint, that is, a multi-dimensional scaling (MDS) embedding of the high dimensional search space for MLP to a 2-dimensional one, showing the landscape of evaluated configurations that were either evaluated (big m