[论文解读] An Experimental Comparison of Old and New Decision Tree Algorithms

Arman Zharmagambetov, Suryabhan Singh Hada+2 more|arXiv (Cornell University)|Nov 8, 2019

Machine Learning and Data Classification参考文献 13被引用 13

一句话总结

该论文评估了一种新型决策树算法——树交替优化（TAO），该算法通过在树节点上进行交替优化，直接优化误分类误差，相较于传统的轴对齐和斜向树算法，TAO在多种数据集上实现了显著更高的准确率，同时生成更小、更具可解释性的树，甚至在准确率和效率方面超越了OCT和CO2等先进方法。

ABSTRACT

This paper presents a detailed comparison of a recently proposed algorithm for optimizing decision trees, tree alternating optimization (TAO), with other popular, established algorithms. We compare their performance on a number of classification and regression datasets of various complexity, different size and dimensionality, across different performance factors: accuracy and tree size (in terms of the number of leaves or the depth of the tree). We find that TAO achieves higher accuracy in nearly all datasets, often by a large margin.

研究动机与目标

• 评估最近提出的树交替优化（TAO）算法相较于现有决策树算法的性能。
• 评估TAO在多样化数据集上的准确率、树大小（深度和叶节点数）以及训练效率。
• 探究直接优化误分类误差是否能带来比贪心的不纯度方法更好的泛化能力和可解释性。
• 将TAO与轴对齐和斜向树算法（包括现代优化方法）的性能进行比较。
• 确定TAO的交替优化框架是否在准确率和模型紧凑性方面产生更优结果。

提出的方法

• TAO通过在节点上进行交替优化，直接优化具有固定结构的决策树的误分类误差。
• 在每次迭代中，TAO更新一个节点的分裂参数，同时保持其他节点固定，从而保证目标函数值非递增。
• 该方法支持轴对齐分裂（使用单个特征）和斜向分裂（使用特征的加权组合）。
• TAO采用坐标更新策略，通过迭代优化可分离的节点子集来逐步改进树结构。
• 该算法旨在找到比CART等贪心方法更优的近似最优解，后者优化的是局部不纯度度量而非全局损失。
• TAO被应用于分类和回归任务，性能通过测试准确率、均方根误差（RMSE）、树深度和叶节点数进行评估。

实验结果

研究问题

• RQ1 TAO是否在几乎所有分类和回归数据集上均实现高于现有决策树算法的准确率？
• RQ2 与其他算法相比，TAO在树大小（深度和叶节点数）方面表现如何，特别是在模型可解释性方面的关联性如何？
• RQ3 TAO能否在准确率和训练效率两方面均超越其他非贪心优化方法（如OCT和CO2）？
• RQ4 与CART和C5.0等传统贪心算法相比，TAO在数据集规模和维度增加时的性能表现如何？
• RQ5 与其它斜向树算法相比，TAO的运行效率如何，尤其是在MNIST等大规模数据集上的表现？

主要发现

• 在几乎所有分类和回归数据集上，TAO的准确率均高于所有基线算法，且差距显著。
• 在YearPredictionMSD数据集上，TAO的测试均方根误差（RMSE）为9.11 ± 0.05，优于CART-R（9.71 ± 0.31）和GUIDE（9.79 ± 0.54）。
• TAO生成的树显著更小、更浅：例如，在CT切片数据集上，TAO的平均深度为7.0，叶节点数为74.8，而GUIDE的深度为36.0，叶节点数为700.0。
• 在MNIST数据集上，TAO的训练时间约为1200–1400秒，优于OC1（1800秒）和GUIDE（26,000秒），同时保持了高准确率。
• 在测试集的7个分类数据集中，TAO在测试误差上赢得5个，而CART-P赢得2个，其他方法无胜绩。
• 尽管是斜向树算法，TAO的运行时间与轴对齐方法（如CART和C5.0）相当，且远快于其他斜向方法（如GUIDE）。