[论文解读] Ensemble Squared: A Meta AutoML System

Jason J. Yoo, Tony Joseph+3 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification参考文献 20被引用 4

一句话总结

Ensemble Squared（Ensemble 2）是一种元自动机器学习（AutoML）系统，通过集成来自多个多样化开源AutoML工具的机器学习流水线，在表格分类基准上实现了最先进性能。通过利用基础AutoML系统在搜索策略和模型空间上的互补性，该系统在准确率和鲁棒性方面均有所提升，在实际运行时间比较中优于包括AutoGluon在内的单个系统。

ABSTRACT

There are currently many barriers that prevent non-experts from exploiting machine learning solutions ranging from the lack of intuition on statistical learning techniques to the trickiness of hyperparameter tuning. Such barriers have led to an explosion of interest in automated machine learning (AutoML), whereby an off-the-shelf system can take care of many of the steps for end-users without the need for expertise in machine learning. This paper presents Ensemble Squared (Ensemble$^2$), an AutoML system that ensembles the results of state-of-the-art open-source AutoML systems. Ensemble$^2$ exploits the diversity of existing AutoML systems by leveraging the differences in their model search space and heuristics. Empirically, we show that diversity of each AutoML system is sufficient to justify ensembling at the AutoML system level. In demonstrating this, we also establish new state-of-the-art AutoML results on the OpenML tabular classification benchmark.

研究动机与目标

• 解决非专家在应用机器学习时面临的障碍，这些障碍源于模型选择和超参数调优的复杂性。
• 探究是否由于现有AutoML系统在搜索策略和模型空间上的固有差异，集成多个AutoML系统能够带来可测量的性能提升。
• 构建一个强大且易于访问的AutoML系统，整合多个现有AutoML工具的优势。
• 通过AutoML系统之间的元集成，在OpenML表格分类基准上建立新的最先进基线。

提出的方法

• 该系统采用两阶段流水线：首先，通过Singularity容器并行运行M个基础AutoML系统，在固定时间限制内搜索机器学习流水线。
• 每个基础系统使用其独特的搜索空间、启发式方法和超参数优化策略独立执行流水线搜索，从而利用模型和预处理选择上的多样性。
• 搜索阶段结束后，从所有基础系统中选择得分最高的K条流水线（按验证分数排序），并可选择在完整训练集上重新训练。
• 随后，通过多数投票或堆叠元学习器对选定的流水线进行集成，生成最终的测试集预测结果。
• 该系统设计具有鲁棒性：仅当所有基础AutoML系统均失败时，系统才会失败，从而相比单个系统提升了可靠性。
• 提供公开的网络界面，使非专家能够上传数据集，并在极少技术门槛下获得预测结果。

实验结果

研究问题

• RQ1 与单个系统相比，集成多个AutoML系统是否能带来性能提升？
• RQ2 现有AutoML系统在性能上是否存在足够的差异，以证明在AutoML层面进行元集成的合理性？
• RQ3 在实际运行时间和同等计算时间约束下，Ensemble 2与最先进AutoML系统相比表现如何？
• RQ4 基础AutoML系统在不同数据集上的性能相关性如何？是高度相关还是低度相关？

主要发现

• Ensemble 2在OpenML表格分类基准上取得了新的最先进结果，在实际运行时间比较中优于所有单个AutoML系统。
• 在1小时实际运行时间比较中，Ensemble 2在41个OpenML数据集中有31个排名第一，而AutoGluon排名第一的有30个。
• 在同等计算条件下（1小时 vs. 5小时运行），Ensemble 2保持了竞争力，尽管AutoGluon整体表现最佳，但其他系统在更长运行时间下性能略有下降。
• 相关性分析显示，基础AutoML系统表现出中等至低度相关性（例如，AutoGluon与CMU AutoML之间的相关系数r ≈ 0.79），表明其多样性足以支持元集成。
• 该系统表现出改进的鲁棒性，仅在所有基础AutoML系统均失败时才会失败，凸显了其对单个系统故障的抗性。
• 集成带来的性能提升归因于基础AutoML系统在搜索空间、启发式方法和预处理策略上的多样性。