[论文解读] AutoCompete: A Framework for Machine Learning Competition

Abhishek Thakur, Artus Krohn-Grimberghe|arXiv (Cornell University)|Jul 8, 2015

Machine Learning and Data Classification参考文献 4被引用 9

一句话总结

AutoCompete 是一个完全自动化的机器学习框架，旨在通过自动化数据类型检测、特征工程、模型选择和超参数调优，最大限度减少在表格数据竞赛中的人工干预。它仅使用 scikit-learn 和 Python，便实现了具有竞争力的性能——在 AutoML 挑战赛中排名第二，其结果在包括 Adult、MNIST 和 Newsgroups-20 在内的多种数据集上，与 established 工具如 hyperopt 和网格搜索相比，表现相当或更优。

ABSTRACT

In this paper, we propose AutoCompete, a highly automated machine learning framework for tackling machine learning competitions. This framework has been learned by us, validated and improved over a period of more than two years by participating in online machine learning competitions. It aims at minimizing human interference required to build a first useful predictive model and to assess the practical difficulty of a given machine learning challenge. The proposed system helps in identifying data types, choosing a machine learn- ing model, tuning hyper-parameters, avoiding over-fitting and optimization for a provided evaluation metric. We also observe that the proposed system produces better (or comparable) results with less runtime as compared to other approaches.

研究动机与目标

• 通过自动化模型构建和超参数调优，减少在机器学习竞赛中的人工参与。
• 创建一个能够从 100 多场机器学习竞赛中学习经验，从而在多样化表格数据集上实现泛化的框架。
• 使新手用户能够在极少专业知识或干预的情况下构建高精度预测模型。
• 针对分类和回归任务中的特定评估指标（如 AUC、F1 分数和准确率）进行优化。
• 在速度和预测性能方面，超越或匹配现有的自动化机器学习框架（如 hyperopt 和网格搜索）

提出的方法

• 该框架将数据划分为分层的训练集和验证集，以防止数据泄露并确保泛化能力。
• 它使用启发式方法自动识别数据类型（例如，数值型、文本型），并应用领域特定的预处理流水线。
• 在模型选择前应用特征选择和转换流水线，所有转换均被保存并在验证集上重新应用。
• 模型选择器会评估多种算法（如随机森林、SVM、逻辑回归），并根据目标指标选择表现最佳的模型。
• 通过网格搜索或随机搜索进行超参数调优，设置 30 分钟的墙时钟时间限制，以确保效率。
• 系统采用流水线架构，将数据预处理、特征选择、模型训练和评估串联成一个自动化工作流。

实验结果

研究问题

• RQ1 一个完全自动化的机器学习框架是否能在真实世界机器学习竞赛中，仅依赖极少人工输入，实现具有竞争力的性能？
• RQ2 AutoCompete 在多样化表格数据集上的性能与 established 自动化机器学习框架（如 hyperopt 和网格搜索）相比如何？
• RQ3 从数百场机器学习竞赛中编码的知识在多大程度上可用于改进模型选择和超参数调优？
• RQ4 该框架是否能在无需手动配置的情况下，泛化应用于不同数据类型（如文本、数值、混合型）和学习任务（分类、回归）？
• RQ5 在自动化模型构建中，运行时效率与预测性能之间的权衡是什么？

主要发现

• 在 Adult 数据集上，AutoCompete 使用模型堆叠和网格搜索实现了 0.88 的 AUC，优于基线方法在数据不平衡情况下的表现。
• 在 MNIST 数据集上，AutoCompete 使用 PCA + 随机森林流水线实现了 96% 的准确率，优于标准网格搜索和 libsvm 方法。
• 在 Newsgroups-20 文本分类任务中，AutoCompete 实现了 0.864 的加权 F1 分数，超过 hyperopt-sklearn（0.856）和其他基线方法。
• 在智能手机数据集上，AutoCompete 使用逻辑回归实现了 0.921 的 AUC，表现出在高维数值数据上的强劲性能。
• 在住房回归数据集上，该框架通过结合特征选择和 SVR 的随机森林模型实现了 2.3 的 RMSE，表明其在混合类型数据上的鲁棒性。
• 在 AutoML 挑战赛 Phase 0 中，AutoCompete 未经过人工干预即获得第二名，证实了其在真实竞赛环境中的有效性。