[论文解读] Decision trees as partitioning machines to characterize their generalization properties

Jean-Samuel Leboeuf, Frédéric LeBlanc+1 more|arXiv (Cornell University)|Oct 14, 2020

Machine Learning and Data Classification参考文献 31被引用 4

一句话总结

本文提出分割函数作为分析实值特征决策树泛化性能的新型框架。推导出决策桩的精确VC维为满足 2ℓ ≥ C(d, ⌊d/2⌋) 的最大整数 d，建立具有 N 个内部节点的二叉树 VC 维的上界为 O(N log(Nℓ))，从而提出一种新型剪枝算法，在无需交叉验证的情况下优于 CART。

ABSTRACT

Decision trees are popular machine learning models that are simple to build and easy to interpret. Even though algorithms to learn decision trees date back to almost 50 years, key properties affecting their generalization error are still weakly bounded. Hence, we revisit binary decision trees on real-valued features from the perspective of partitions of the data. We introduce the notion of partitioning function, and we relate it to the growth function and to the VC dimension. Using this new concept, we are able to find the exact VC dimension of decision stumps, which is given by the largest integer $d$ such that $2\ell \ge \binom{d}{\left\lfloor\frac{d}{2} ight floor}$, where $\ell$ is the number of real-valued features. We provide a recursive expression to bound the partitioning functions, resulting in a upper bound on the growth function of any decision tree structure. This allows us to show that the VC dimension of a binary tree structure with $N$ internal nodes is of order $N \log(N\ell)$. Finally, we elaborate a pruning algorithm based on these results that performs better than the CART algorithm on a number of datasets, with the advantage that no cross-validation is required.

研究动机与目标

• 为解决实值特征二叉决策树的 VC 维和增长函数缺乏紧致上界的问题。
• 通过新概念——分割函数，提供决策树泛化误差的理论表征。
• 推导出实值特征上决策桩的精确 VC 维，解决此前未知的边界问题。
• 将分割函数框架扩展至一般二叉树结构，并推导其 VC 维的渐近上界。
• 基于理论边界开发一种剪枝算法，其性能优于 CART，且无需交叉验证。

提出的方法

• 引入分割函数作为衡量决策树结构在实值特征上诱导出的不同数据分区数的度量。
• 将分割函数与增长函数和 VC 维关联，实现对泛化误差的理论分析。
• 使用图论方法，推导出决策桩的精确 VC 维为满足 2ℓ ≥ C(d, ⌊d/2⌋) 的最大 d，其中 ℓ 为特征数。
• 为一般二叉树结构建立分割函数的递归上界，从而得出具有 N 个内部节点的树的 VC 维上界为 O(N log(Nℓ))。
• 提出一种基于推导出的 VC 维边界进行剪枝的算法，使用理论风险边界而非交叉验证。
• 采用样本压缩和基于 VC 的泛化边界指导树剪枝，同时保持较高的测试准确率。

实验结果

研究问题

• RQ1 由 ℓ 个实值特征构成的决策桩的精确 VC 维是多少？
• RQ2 如何利用分割函数约束一般二叉决策树结构的增长函数和 VC 维？
• RQ3 具有 N 个内部节点和 ℓ 个实值特征的二叉决策树的 VC 维的渐近行为如何？
• RQ4 能否利用 VC 维的理论边界设计一种无需交叉验证即可优于 CART 的剪枝算法？
• RQ5 所提出的剪枝方法在多种数据集上的性能与效率与 CART 相比如何？

主要发现

• 由 ℓ 个实值特征构成的决策桩的精确 VC 维为满足 2ℓ ≥ C(d, ⌊d/2⌋) 的最大整数 d，解决了此前未知的边界问题。
• 具有 N 个内部节点和 ℓ 个实值特征的二叉决策树的 VC 维为 O(N log(Nℓ))，提供了紧致的渐近上界。
• 基于理论 VC 边界提出的剪枝算法在所测试的 11 个数据集中的 10 个上实现了比 CART 更高的测试准确率，包括 Ionosphere、Iris、Parkinson 和 Spambase。
• 新剪枝方法在减少叶节点数和树高方面表现优异，同时保持或提升测试准确率，且在较大数据集上运行时间显著快于 CART。
• 在 Yeast 和 Planning Relax 等数据集上，该算法的泛化性能优于 CART，因为 CART 在这些数据集上因交叉验证方差高而出现过拟合。
• 所提方法计算出的边界（如 Yeast 上的 22.3 ± 0.3）与泛化性能相关，并用于指导剪枝，无需依赖交叉验证。