[论文解读] Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms

Rafael Gomes Mantovani, Tomáš Horváth+5 more|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Data Classification被引用 11

一句话总结

本文基于94个OpenML数据集，对CART和C4.5决策树算法的超参数调优进行了全面的实证研究。结果表明，调优显著提升了CART在大多数数据集上的性能，而C4.5仅在约三分之一的数据集中受益，其中Irace是效果最佳的调优技术，并识别出少数关键超参数（如minsplit、minbucket）对模型性能影响最大。

ABSTRACT

Machine learning algorithms often contain many hyperparameters (HPs) whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these HP configurations and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive performance. However, insights into efficiently exploring this vast space of configurations and dealing with the trade-off between predictive and runtime performance remain challenging. Furthermore, there are cases where the default HPs fit the suitable configuration. Additionally, for many reasons, including model validation and attendance to new legislation, there is an increasing interest in interpretable models, such as those created by the Decision Tree (DT) induction algorithms. This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning for the two DT induction algorithms most often used, CART and C4.5. DT induction algorithms present high predictive performance and interpretable classification models, though many HPs need to be adjusted. Experiments were carried out with different tuning strategies to induce models and to evaluate HPs' relevance using 94 classification datasets from OpenML. The experimental results point out that different HP profiles for the tuning of each algorithm provide statistically significant improvements in most of the datasets for CART, but only in one-third for C4.5. Although different algorithms may present different tuning scenarios, the tuning techniques generally required few evaluations to find accurate solutions. Furthermore, the best technique for all the algorithms was the IRACE. Finally, we found out that tuning a specific small subset of HPs is a good alternative for achieving optimal predictive performance.

研究动机与目标

• 研究超参数调优对CART和C4.5决策树归纳算法预测性能的影响。
• 评估不同超参数调优技术在多样化分类数据集上的有效性。
• 通过统计分析与敏感性分析，识别对模型性能影响最大的超参数。
• 确定在何种条件下调优优于使用默认设置。
• 为决策树的智能超参数推荐系统开发提供支持。

提出的方法

• 在94个OpenML基准数据集上，对CART和C4.5（J48）算法进行实证评估。
• 应用五种调优技术：随机搜索（RS）、基于序列模型的优化（SMBO）、粒子群优化（PSO）、贝叶斯优化（BO）和迭代竞争（Irace）。
• 使用fANOVA（因子无关方差分解）评估超参数重要性并缩小搜索空间。
• 通过非参数检验（如Wilcoxon符号秩检验）对调优前后超参数配置的性能进行统计比较。
• 通过元学习（MtL）分析，识别可预测调优收益的数据集特征（如类别数、决策边界复杂度）。
• 公开发布代码与超参数数据，以支持可复现性，并便于未来扩展至其他算法。

实验结果

研究问题

• RQ1 在多样化数据集上，超参数调优是否显著提升了CART和C4.5的预测性能？
• RQ2 在不同计算预算下，哪种超参数调优技术能实现最佳性能？
• RQ3 哪些超参数对最终模型的预测准确率影响最大？
• RQ4 在何种数据集特征下，调优相比默认设置能带来更大收益？
• RQ5 是否可以通过仅保留最影响性能的超参数，实现有效且无需穷举搜索的最优性能？

主要发现

• 调优在CART的大多数数据集中带来了统计上显著的性能提升，但在C4.5中仅在约三分之一的数据集中有效。
• Irace调优技术表现最优，尤其在α = 0.1时，且其运行时间与元启发式方法相当，性能却更优。
• 少数超参数——特别是'minsplit'和'minbucket'——被fANOVA分析证实是导致性能差异的主要原因。
• 调优对类别超过八个且决策边界非线性的数据集收益最大，而对简单、高度可分的数据集，使用默认设置已足够。
• 将超参数搜索空间缩减为最具影响力的参数后，实现了更多统计上显著的性能提升。
• 本研究提供了实证证据：对于许多问题，默认超参数已足够，但对复杂或高变异性数据集，调优至关重要。