[论文解读] Machine Learning Automation Toolbox (MLaut)

Viktor Kazakov, Franz J. Király|arXiv (Cornell University)|Jan 11, 2019

Machine Learning and Data Classification参考文献 34被引用 4

一句话总结

本文介绍了 MLaut，一个基于 Python 的机器学习自动化工具箱，可简化在多个数据集上对监督学习算法的大规模基准测试。它支持对 scikit-learn 和 Keras 模型进行自动化评估、超参数调优和统计比较，结果表明：在视觉或自然语言处理等专业领域之外，深度神经网络在标准表格数据集上的表现较差。

ABSTRACT

In this paper we present MLaut (Machine Learning AUtomation Toolbox) for the python data science ecosystem. MLaut automates large-scale evaluation and benchmarking of machine learning algorithms on a large number of datasets. MLaut provides a high-level workflow interface to machine algorithm algorithms, implements a local back-end to a database of dataset collections, trained algorithms, and experimental results, and provides easy-to-use interfaces to the scikit-learn and keras modelling libraries. Experiments are easy to set up with default settings in a few lines of code, while remaining fully customizable to the level of hyper-parameter tuning, pipeline composition, or deep learning architecture. As a principal test case for MLaut, we conducted a large-scale supervised classification study in order to benchmark the performance of a number of machine learning algorithms - to our knowledge also the first larger-scale study on standard supervised learning data sets to include deep learning algorithms. While corroborating a number of previous findings in literature, we found (within the limitations of our study) that deep neural networks do not perform well on basic supervised learning, i.e., outside the more specialized, image-, audio-, or text-based tasks.

研究动机与目标

• 自动化在多样化数据集上对机器学习算法的大规模基准测试。
• 为在单一工作流中集成 scikit-learn 和 Keras 模型提供统一且用户友好的接口。
• 支持可定制的超参数调优、管道组合以及深度学习架构设计。
• 通过本地数据库支持的数据存储，实现可重现、可恢复的实验，保存数据集、模型和结果。
• 在标准表格数据集上，对传统机器学习模型与深度学习模型进行大规模实证比较。

提出的方法

• MLaut 提供高层工作流 API，抽象化数据加载、模型拟合、预测和结果存储流程。
• 它将估计器（例如，scikit-learn 分类器、Keras 深层网络）封装为统一接口，并提供默认配置。
• 该工具箱使用本地文件系统存储，自动管理数据集、训练模型、预测结果和实验结果。
• 支持重采样策略（例如，交叉验证），并集成统计事后分析以进行性能比较。
• 性能通过平均值、聚合值和基于排名的指标进行量化，包含置信区间和非参数检验（例如，Wilcoxon 符号秩检验）。
• MLaut 支持实验在崩溃后恢复，确保长期运行的基准测试管道具有鲁棒性。

实验结果

研究问题

• RQ1 在标准表格分类数据集上，传统机器学习模型与深度神经网络相比表现如何？
• RQ2 不同算法在广泛基准数据集上的性能稳定性与变异性如何？
• RQ3 自动化超参数调优与管道组合能否提升在多样化数据类型上的模型性能？
• RQ4 不同深度学习架构（例如，宽网络与深网络，是否使用 dropout）在非专业化学习任务上的表现如何？
• RQ5 在包含置信区间和事后检验的多个数据集上，比较算法性能时，哪种统计方法最为合适？

主要发现

• 与传统机器学习模型相比，深度神经网络（包括使用 dropout 和学习率调优的多种架构）在标准表格数据集上的表现较差。
• 表现最佳的模型通常是传统估计器，如 GradientBoostingClassifier、Random Forest 和 SVM，它们在大多数数据集上均优于深度网络。
• 在 wine_quality 数据集上，表现最好的深度学习模型（NN-4-layer_wide_with_dropout_lr1）准确率为 69.76%，而表现最好的传统模型（SVC）准确率为 35.50%，显示出显著的性能差距。
• 在 yeast 数据集上，表现最好的深度网络（NN-12-layer_wide_with_dropout_lr1）准确率为 71.22%，但 GaussianNaiveBayes 模型准确率高达 85.92%，凸显了简单模型的优异表现。
• 研究发现，即使经过广泛的超参数调优，深度学习模型在图像、音频或文本领域之外的标准监督学习任务中也难以泛化。
• 统计检验证实了模型之间存在显著性能差异，且非深度学习模型在所有数据集的性能排名中始终位居前列。