[论文解读] Automatic Exploration of Machine Learning Experiments on OpenML

Daniel Kühn, Philipp Probst+2 more|arXiv (Cornell University)|Jun 28, 2018

Machine Learning and Data Classification参考文献 12被引用 10

一句话总结

本论文提出了一项大规模、开放获取的元数据集，包含在38个OpenML数据集上进行的250万个机器学习实验，通过使用OpenML Random Bot自动采样随机超参数生成。该数据集支持超参数影响的系统性研究，促进元学习，并为超参数调优和算法鲁棒性提供基准。

ABSTRACT

Understanding the influence of hyperparameters on the performance of a machine learning algorithm is an important scientific topic in itself and can help to improve automatic hyperparameter tuning procedures. Unfortunately, experimental meta data for this purpose is still rare. This paper presents a large, free and open dataset addressing this problem, containing results on 38 OpenML data sets, six different machine learning algorithms and many different hyperparameter configurations. Results where generated by an automated random sampling strategy, termed the OpenML Random Bot. Each algorithm was cross-validated up to 20.000 times per dataset with different hyperparameters settings, resulting in a meta dataset of around 2.5 million experiments overall.

研究动机与目标

• 解决公开可用的实验元数据稀缺问题，以研究机器学习中超参数的影响。
• 提供一个大规模、可复现且免费获取的数据集，以支持元学习和自动化超参数调优的研究。
• 实现对不同超参数配置如何影响多样化数据集上模型性能的系统性分析。
• 支持更优默认超参数设置的开发以及更高效调优策略的构建。
• 通过广泛的实证结果，促进机器学习算法的调试与鲁棒性分析。

提出的方法

• 通过OpenML Random Bot实现自动化随机超参数采样，系统性地探索六种机器学习算法的预定义超参数范围。
• 每个算法在每个数据集上最多进行20,000次交叉验证，总计约250万个实验。
• 超参数在定义的边界内采样，通过变换函数（如学习率和正则化参数的指数缩放）实现非均匀采样。
• 使用OpenML数据库的夜间快照生成数据集，确保可复现性和版本控制。
• 结果以结构化CSV格式存储，包含性能指标（AUC、准确率、Brier评分）、运行时间以及数据集元数据（n、p、类别不平衡）。
• 数据集涵盖六种算法：glmnet、rpart、kknn、svm、ranger和xgboost，覆盖来自OpenML100套件的38个二分类数据集，且无缺失值。

实验结果

研究问题

• RQ1 不同超参数配置在多样化数据集上如何影响机器学习算法的性能？
• RQ2 哪些超参数对模型性能影响最大？我们能否识别出稳健的默认设置？
• RQ3 在广泛超参数设置下（包括表现较差的配置），机器学习算法的性能特征如何？
• RQ4 该大规模实证数据集在多大程度上可改进元学习和超参数调优流程？
• RQ5 该数据集在多大程度上可支持更高效、更鲁棒的自动化机器学习流水线的开发？

主要发现

• 本研究在38个数据集和六种算法上共生成了2,576,610项机器学习实验，构成了目前公开可用的同类元数据集中规模最大的之一。
• 数据集包含每项实验的性能指标（如AUC、准确率和Brier评分），支持对模型行为的详细分析。
• 超参数范围通过变换（如学习率和正则化参数的$2^x$）系统性探索，实现在对数尺度上的非均匀采样。
• OpenML Random Bot在38个来自OpenML100基准套件的二分类数据集上执行了实验，所有数据集均无缺失值且结果为二元。
• 该数据集可通过figshare免费获取，并包含用于程序化访问OpenML数据库快照的代码，确保可复现性。
• 结果揭示了超参数空间中的性能趋势，包括表现较差的区域，对算法鲁棒性和调优研究具有重要价值。