[论文解读] Automatic Gradient Boosting

Janek Thomas, Stefan Coors+1 more|arXiv (Cornell University)|Jul 10, 2018

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出 autoxgboost，一个通过贝叶斯优化自动调优超参数、优化决策阈值并编码分类特征的 AutoML 框架。尽管聚焦于单一算法，它在两个数据集上达到最先进性能，在 16 个基准数据集中的半数上表现具有竞争力，证明了具备强可解释性和可部署性优势的单学习器 AutoML 的可行性。

ABSTRACT

Automatic machine learning performs predictive modeling with high performing machine learning tools without human interference. This is achieved by making machine learning applications parameter-free, i.e. only a dataset is provided while the complete model selection and model building process is handled internally through (often meta) optimization. Projects like Auto-WEKA and auto-sklearn aim to solve the Combined Algorithm Selection and Hyperparameter optimization (CASH) problem resulting in huge configuration spaces. However, for most real-world applications, the optimization over only a few different key learning algorithms can not only be sufficient, but also potentially beneficial. The latter becomes apparent when one considers that models have to be validated, explained, deployed and maintained. Here, less complex model are often preferred, for validation or efficiency reasons, or even a strict requirement. Automatic gradient boosting simplifies this idea one step further, using only gradient boosting as a single learning algorithm in combination with model-based hyperparameter tuning, threshold optimization and encoding of categorical features. We introduce this general framework as well as a concrete implementation called autoxgboost. It is compared to current AutoML projects on 16 datasets and despite its simplicity is able to achieve comparable results on about half of the datasets as well as performing best on two.

研究动机与目标

• 通过聚焦于单一强大算法——梯度提升，简化 AutoML，而非组合式算法选择。
• 降低模型复杂度，以在真实应用场景中更易于验证、部署和解释。
• 通过自动调优超参数、优化决策阈值和特征预处理，实现最小人工干预下的高性能。
• 评估单学习器 AutoML 方法是否能在预测性能上匹配或超越多学习器 AutoML 框架。

提出的方法

• 该框架仅使用 XGBoost 作为学习算法，利用其鲁棒性和强大的预测性能。
• 通过预定义的搜索空间，使用贝叶斯优化调优超参数，包括：初始学习率、最大深度、子采样率以及 L1/L2 正则化。
• 对于分类任务，通过迭代优化最优决策阈值，以超越默认阈值的准确率。
• 使用带平滑处理的目标编码对分类特征进行编码，以有效处理非数值输入。
• 该流程包括自动数据预处理，包括缺失值处理和特征缩放。
• 整个工作流完全自动化，仅需输入数据集，无需人工干预模型选择或配置。

实验结果

研究问题

• RQ1 基于梯度提升的单学习器 AutoML 系统是否能在性能上与 auto-sklearn 和 Auto-WEKA 等多学习器 AutoML 框架相媲美？
• RQ2 聚焦于单一算法是否能在真实场景中提升模型的可解释性和可部署性？
• RQ3 贝叶斯优化在调优 XGBoost 的全面超参数集和决策阈值方面是否有效？
• RQ4 自动分类特征编码和阈值优化是否能显著提升分类性能？
• RQ5 单算法 AutoML 系统在具有不同特性的多样化数据集上性能是否稳健？

主要发现

• autoxgboost 在两个数据集（Dexter 和 Semeion）上表现最佳，优于 Auto-WEKA 和 auto-sklearn。
• 在 16 个数据集中的九个上，auto-sklearn 表现最佳，表明多学习器集成在许多情况下仍具优势。
• autoxgboost 在约一半的数据集上取得具有竞争力的结果，多个基准测试的中位误差率与 auto-sklearn 相差不超过 5%。
• 除 Secom 数据集外，autoxgboost 在所有数据集上均显著优于多数类别基线，证实其功能正确且有效。
• 由于使用单一、易于理解的算法（XGBoost），模型通过特征重要性与 SHAP 值实现更高的可解释性。
• 尽管超参数搜索空间较小，autoxgboost 仍表现出强大性能，表明对单一算法进行充分调优可极为有效。