[论文解读] An empirical study on hyperparameter tuning of decision trees.

Rafael Gomes Mantovani, Tomáš Horváth+4 more|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Data Classification参考文献 58被引用 35

一句话总结

本论文通过94个OpenML数据集，对三种决策树算法——CART、C4.5和CTree——的超参数调优进行了实证研究。研究发现，超参数调优在大多数情况下显著提升了CART的性能，而C4.5和CTree仅在约三分之一的数据集中受益，且Irace在所有调优技术中表现最佳，仅有少数超参数对性能提升贡献最大。

ABSTRACT

Machine learning algorithms often contain many hyperparameters whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these hyperparameter configurations, and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive accuracy. However, we lack insight into how to efficiently explore this vast space of configurations: which are the best optimization techniques, how should we use them, and how significant is their effect on predictive or runtime performance? This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning on three Decision Tree induction algorithms, CART, C4.5 and CTree. These algorithms were selected because they are based on similar principles, have presented a high predictive performance in several previous works and induce interpretable classification models. Additionally, they contain many interacting hyperparameters to be adjusted. Experiments were carried out with different tuning strategies to induce models and evaluate the relevance of hyperparameters using 94 classification datasets from OpenML. Experimental results indicate that hyperparameter tuning provides statistically significant improvements for C4.5 and CTree in only one-third of the datasets, and in most of the datasets for CART. Different tree algorithms may present different tuning scenarios, but in general, the tuning techniques required relatively few iterations to find accurate solutions. Furthermore, the best technique for all the algorithms was the Irace. Finally, we find that tuning a specific small subset of hyperparameters contributes most of the achievable optimal predictive performance.

研究动机与目标

• 调查超参数调优对三种广泛使用的决策树算法（CART、C4.5和CTree）预测性能的影响。
• 评估不同超参数优化技术在提升模型准确率和运行效率方面的有效性。
• 识别对实现最优预测性能贡献最大的超参数。
• 确定调优在不同数据集和算法上是否始终有益。
• 为决策树归纳提供高效超参数搜索策略的实际指导。

提出的方法

• 在三种决策树算法（CART、C4.5和CTree）上应用了全面的超参数调优策略，包括贝叶斯优化、进化算法和随机搜索。
• 使用Irace优化框架作为先进的自动化配置工具，以比较不同算法上的调优性能。
• 在OpenML平台提供的94个多样化的二分类和多分类数据集上评估模型性能。
• 进行统计显著性检验，以评估调优带来的性能提升在数据集间是否具有实际意义。
• 通过消融研究隔离单个超参数对整体性能提升的贡献。
• 同时测量预测准确率和计算成本，以评估性能与效率之间的权衡。

实验结果

研究问题

• RQ1 在多样化数据集上，超参数调优如何影响CART、C4.5和CTree的预测性能？
• RQ2 哪种超参数优化技术在三种算法上均能实现最佳性能提升？
• RQ3 单个超参数对调优带来的整体性能增益的相对贡献如何？
• RQ4 通常需要多少次调优迭代才能找到高性能配置？
• RQ5 在不同数据集上，哪些算法最受益于调优，是否存在一致的规律？

主要发现

• 在大多数数据集中，超参数调优显著提升了CART的性能，而C4.5和CTree仅在约三分之一的数据集中表现出显著增益。
• Irace优化技术在所有三种算法上均持续优于其他调优策略，能在较少迭代次数内识别出高性能配置。
• 少数超参数——尤其是与树深度、最小分割样本数和置信度阈值相关的参数——贡献了绝大部分可实现的性能提升。
• 找到最优配置所需的迭代次数相对较少，表明高效的搜索策略可在不产生过高计算成本的情况下获得良好结果。
• 调优的影响在不同算法间存在显著差异，表明调优策略应根据具体算法和数据集特性进行定制。
• 尽管三者具有相似的基本原理，但三种算法表现出截然不同的调优行为，凸显了需要采用算法特定的调优方法。