[论文解读] Exploring the Decision Forest: An Empirical Investigation of Occam's Razor in Decision Tree Induction

Patrick M. Murphy, Michael J. Pazzani|ArXiv.org|Mar 1, 1994

Explainable Artificial Intelligence (XAI)被引用 13

一句话总结

本文通过使用并行计算系统对训练数据一致的所有决策树进行穷举生成，实证研究了决策树归纳中的奥卡姆剃刀原理。与简单树更准确的原理相反，该研究发现，在多个人工和真实数据集上，平均而言，略大的一致树在测试准确率上优于更小的树。

ABSTRACT

We report on a series of experiments in which all decision trees consistent with the training data are constructed. These experiments were run to gain an understanding of the properties of the set of consistent decision trees and the factors that affect the accuracy of individual trees. In particular, we investigated the relationship between the size of a decision tree consistent with some training data and the accuracy of the tree on test data. The experiments were performed on a massively parallel Maspar computer. The results of the experiments on several artificial and two real world problems indicate that, for many of the problems investigated, smaller consistent decision trees are on average less accurate than the average accuracy of slightly larger trees.

研究动机与目标

• 研究决策树大小与泛化准确率之间的关系。
• 检验根据奥卡姆剃刀原理，更小的决策树是否始终比更大的树更准确。
• 探索与训练数据一致的全部决策树的结构与特性。
• 使用在并行架构上的穷举搜索，评估树复杂度对预测性能的影响。
• 为奥卡姆剃刀在决策树学习中的有效性提供实证证据。

提出的方法

• 使用大规模并行的Maspar计算机对所有与训练数据一致的决策树进行了穷举枚举。
• 系统性地探索搜索空间，以识别所有能完美拟合训练样本的可能树。
• 树的大小通过内部节点的数量来衡量，准确率在独立的测试集上进行评估。
• 在合成数据集和真实世界数据集上进行了实验，以评估泛化能力。
• 统计分析比较了不同大小树的平均测试准确率。
• 本研究利用并行计算来处理枚举所有一致树所导致的指数级复杂度。

实验结果

研究问题

• RQ1 与训练数据一致的更小决策树是否通常比更大的一致树泛化性能更好？
• RQ2 对于给定数据集，所有一致决策树的准确率分布如何？
• RQ3 在实践中，树的大小与测试集准确率之间存在何种相关性？
• RQ4 当考虑所有一致树时，奥卡姆剃刀在决策树归纳中在多大程度上成立？
• RQ5 在多种数据集中，小规模与大规模一致树之间是否存在系统性的性能差异？

主要发现

• 在所研究的许多问题中，平均而言，更小的一致决策树的准确率低于略大的树。
• 在人工和真实世界数据集上，更大一致树的平均准确率均超过更小的树。
• 一致树的性能并未随着树的减小而单调提升，这与奥卡姆剃刀相矛盾。
• 一致树集合在测试准确率上表现出显著的方差，且小树并无明显主导优势。
• 结果表明，当考虑所有一致树时，偏好简洁性的归纳偏置可能并非最优。
• 本研究证明，在并行架构上对一致树进行穷举搜索是可行的，并揭示了泛化性能中的非平凡模式。