[论文解读] Don't Waste Your Time: Early Stopping Cross-Validation

Edward M. Bergman, Lennart Purucker+1 more|arXiv (Cornell University)|May 6, 2024

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了一种用于自动化机器学习（AutoML）中k折交叉验证的简单早期停止策略，即在第一折验证中若某配置表现劣于当前最优配置，则立即停止验证。该方法使模型选择速度提升214%，并在一小时内评估的配置数量增加167%，同时在使用MLP和随机森林模型进行3、5和10折交叉验证的36个表格数据集上，整体性能得到提升。

ABSTRACT

State-of-the-art automated machine learning systems for tabular data often employ cross-validation; ensuring that measured performances generalize to unseen data, or that subsequent ensembling does not overfit. However, using k-fold cross-validation instead of holdout validation drastically increases the computational cost of validating a single configuration. While ensuring better generalization and, by extension, better performance, the additional cost is often prohibitive for effective model selection within a time budget. We aim to make model selection with cross-validation more effective. Therefore, we study early stopping the process of cross-validation during model selection. We investigate the impact of early stopping on random search for two algorithms, MLP and random forest, across 36 classification datasets. We further analyze the impact of the number of folds by considering 3-, 5-, and 10-folds. In addition, we investigate the impact of early stopping with Bayesian optimization instead of random search and also repeated cross-validation. Our exploratory study shows that even a simple-to-understand and easy-to-implement method consistently allows model selection to converge faster; in ~94% of all datasets, on average by ~214%. Moreover, stopping cross-validation enables model selection to explore the search space more exhaustively by considering +167% configurations on average within one hour, while also obtaining better overall performance.

研究动机与目标

• 为解决AutoML中k折交叉验证带来的高计算成本，该成本限制了在时间预算内进行完整超参数搜索。
• 探究在交叉验证过程中应用早期停止是否能加速模型选择且不损失性能。
• 评估简单、易于实现的早期停止策略，避免使用复杂超参数或配置暂停机制。
• 证明即使是最基本的早期停止方法，也能在AutoML工作流中显著提升效率与效果。

提出的方法

• 作者实现了两种简单的早期停止规则：'激进型'（若第一折表现劣于当前最优配置则立即停止）和'宽容型'（若第一折表现劣于当前最优配置超过阈值则停止）。
• 这些方法在AutoML基准数据集中的36个分类数据集上，针对MLP和随机森林模型，应用于随机搜索与贝叶斯优化。
• 交叉验证采用3、5和10折划分，同时亦评估了重复10折交叉验证。
• 通过固定一小时时间预算，将早期停止方法的性能与无早期停止的标准交叉验证进行对比。
• 该方法避免了配置暂停，且无需复杂统计检验或超超参数，最大限度降低实现门槛。
• 实验过程可复现，并在GitHub上发布了完整代码、文档和原始结果。

Figure 1: Speedup Overview Per Dataset for MLP with 10 folds: The time point of matching the best performance of No ES for each method per dataset. A marker indicates when a method reached the same or better performance than No ES . The solid black line visualizes the time saved by the fastest early

实验结果

研究问题

• RQ1 在AutoML模型选择中，k折交叉验证过程中的早期停止是否能显著缩短收敛时间？
• RQ2 早期停止是否能在固定时间预算内实现对超参数搜索空间的更广泛探索？
• RQ3 与完整交叉验证相比，早期停止对最终模型性能有何影响？
• RQ4 不同折数（3、5、10）如何影响早期停止的优势？
• RQ5 简单、易于实现的早期停止规则在实践中是否能优于标准交叉验证？

主要发现

• 在36个数据集中的约94%中，早期停止使模型选择平均提速214%，相比完整交叉验证。
• 在一小时时间预算内，早期停止使平均可评估的超参数配置数量比标准交叉验证多167%。
• 该方法始终提升了最终模型性能，表明尽管验证成本降低，但泛化能力未受影响。
• 该优势在不同算法（MLP和随机森林）、折数（3、5、10）以及优化策略（随机搜索与贝叶斯优化）中均被观察到。
• '激进型'和'宽容型'早期停止规则均表现有效且易于实现，计算开销极低，无需复杂统计检验或配置暂停。
• 本研究估算，在所有数据集、方法和配置上运行全部实验的总计算成本约为6.15个CPU年，额外开销约10%。

Figure 2: Footprint Plot for OpenML Task ID 168350 on outer fold 7: A configuration footprint, that is, a multi-dimensional scaling (MDS) embedding of the high dimensional search space for MLP to a 2-dimensional one, showing the landscape of evaluated configurations that were either evaluated (big m