[论文解读] Improved Use of Continuous Attributes in C4.5

J. R. Quinlan|arXiv (Cornell University)|Mar 1, 1996

Bayesian Modeling and Causal Inference参考文献 1被引用 8

一句话总结

本文通过引入一种基于MDL（最小描述长度）的惩罚机制，改进了C4.5在处理连续属性时的表现，以减少分裂选择过程中的过拟合问题。该方法剪枝了信息量较少的连续分裂，从而生成更小、更准确的决策树，其性能优于原始C4.5以及采用全局离散化或多区间分裂的其他方法。

ABSTRACT

A reported weakness of C4.5 in domains with continuous attributes is addressed by modifying the formation and evaluation of tests on continuous attributes. An MDL-inspired penalty is applied to such tests, eliminating some of them from consideration and altering the relative desirability of all tests. Empirical trials show that the modifications lead to smaller decision trees with higher predictive accuracies. Results also confirm that a new version of C4.5 incorporating these changes is superior to recent approaches that use global discretization and that construct small trees with multi-interval splits.

研究动机与目标

• 为解决C4.5在处理连续属性时的已知弱点，该弱点可能导致过拟合和树结构过于复杂。
• 在树构建过程中减少考虑的连续属性分裂数量，以提升泛化能力。
• 通过一种有理论依据的惩罚机制，优先选择更简单、更稳健的分裂方式，从而提高预测准确性。
• 在树的大小和准确性方面，超越现有方法（如全局离散化和多区间分裂）。
• 将一种理论基础坚实的惩罚机制整合到C4.5中，以在模型复杂度与训练数据拟合度之间实现平衡。

提出的方法

• 在分裂评估过程中，对连续属性的测试应用一种基于MDL（最小描述长度）的惩罚机制。
• 通过减去与所考虑的不同分裂点数量成比例的复杂度惩罚项，修改分裂评估标准。
• 降低具有大量潜在分裂点的连续属性测试的吸引力，从而抑制过拟合。
• 当惩罚超过信息增益时，完全排除部分连续分裂的考虑。
• 保留C4.5算法的核心结构，但改变连续属性的分裂选择过程。
• 采用基于阈值的方法，根据信息增益与模型复杂度之间的权衡，决定哪些连续分裂值得保留。

实验结果

研究问题

• RQ1 如何改进C4.5以更好地处理连续属性，同时不增加模型复杂度？
• RQ2 基于MDL的惩罚机制是否能有效减少连续属性分裂中的过拟合？
• RQ3 对复杂连续分裂施加惩罚是否能生成更小、更准确的决策树？
• RQ4 与全局离散化技术相比，改进后的C4.5在预测性能上表现如何？
• RQ5 新方法是否能在连续属性处理中超越使用多区间分裂的方法？

主要发现

• 由于剪除了信息量较少的连续分裂，改进后的C4.5生成的决策树比原始C4.5更小。
• 改进后的算法在测试数据上的预测准确性高于原始C4.5。
• 该方法优于近期采用连续属性全局离散化的改进方法。
• 它也优于通过多区间分裂构建小型决策树的方法。
• 基于MDL的惩罚机制能有效平衡模型复杂度与信息增益，减少过拟合。
• 实证结果证实，该惩罚机制能生成更稳健、更具泛化能力的决策树。