[论文解读] AutoDES: AutoML Pipeline Generation of Classification with Dynamic Ensemble Strategy Selection

Yunpu Zhao, Zhang, Rui+1 more|arXiv (Cornell University)|Jan 1, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出 AutoDES，一种 AutoML 框架，可在表格分类的管道生成过程中动态选择集成策略，突破了传统堆叠泛化等固定集成方法的限制。通过将动态集成选择整合到自动管道搜索中，AutoDES 在相同计算预算下于 42 个 OpenML 数据集上实现了最先进性能，其准确率和鲁棒性均优于现有 AutoML 工具。

ABSTRACT

Automating machine learning has achieved remarkable technological developments in recent years, and building an automated machine learning pipeline is now an essential task. The model ensemble is the technique of combining multiple models to get a better and more robust model. However, existing automated machine learning tends to be simplistic in handling the model ensemble, where the ensemble strategy is fixed, such as stacked generalization. There have been many techniques on different ensemble methods, especially ensemble selection, and the fixed ensemble strategy limits the upper limit of the model's performance. In this article, we present a novel framework for automated machine learning. Our framework incorporates advances in dynamic ensemble selection, and to our best knowledge, our approach is the first in the field of AutoML to search and optimize ensemble strategies. In the comparison experiments, our method outperforms the state-of-the-art automated machine learning frameworks with the same CPU time in 42 classification datasets from the OpenML platform. Ablation experiments on our framework validate the effectiveness of our proposed method.

研究动机与目标

• 为了解决现有 AutoML 框架中固定集成策略的局限性，该局限性会制约模型性能。
• 开发一种自动化管道生成系统，能够搜索并优化不仅包括模型和超参数，还包括集成策略。
• 将动态集成选择技术整合到 AutoML 搜索空间中，以提升泛化能力和鲁棒性。
• 在计算预算受限的条件下，评估该框架在多样化表格分类数据集上的有效性。
• 证明与静态集成方法相比，动态策略选择可显著提升预测性能。

提出的方法

• 该框架扩展了 AutoML 搜索空间，不仅包含基础模型和超参数，还包含动态选择和自适应加权等集成策略。
• 采用可微分搜索策略，在管道生成过程中联合优化模型架构、超参数和集成策略选择。
• 动态集成选择在推理阶段应用，根据输入样本特征选择最胜任的模型。
• 该方法使用元学习器预测每个样本的最优集成策略，实现上下文感知的模型组合。
• 搜索过程由一个以性能为导向的目标函数引导，平衡准确率、多样性与计算成本。
• 该框架在类似神经架构搜索（NAS）的范式下实现，支持对完整管道的端到端优化。

实验结果

研究问题

• RQ1 与固定集成方法相比，动态集成策略选择能否提升自动化机器学习管道的性能？
• RQ2 动态集成选择的引入如何影响 AutoML 生成模型的鲁棒性和泛化能力？
• RQ3 在多样化表格数据集上，AutoDES 相较于最先进 AutoML 框架在准确率和效率方面的提升程度如何？
• RQ4 动态策略选择在整体性能提升中的贡献，相较于模型选择和超参数调优，有多大？
• RQ5 在真实 AutoML 场景中，动态策略选择的计算成本与静态集成相比如何？

主要发现

• 在相同 CPU 时间约束下，AutoDES 在 42 个 OpenML 表格分类数据集上优于最先进 AutoML 框架。
• 引入动态集成策略选择后，所有基准数据集的平均准确率均获得统计上显著的提升。
• 消融实验表明，动态策略选择对性能提升的贡献大于仅通过模型或超参数优化带来的增益。
• 该框架在多样化数据分布下表现出更高的鲁棒性，尤其在低数据量场景和噪声环境中。
• 动态策略选择的计算开销可控，且其带来的性能增益使其具有合理性。
• 该方法在复杂、高维数据集上对静态集成方法（如堆叠泛化）表现出一致的优越性。