[论文解读] Efficient algorithms for decision tree cross-validation

Hendrik Blockeel, Jan Struyf|ArXiv.org|Oct 17, 2001

Data Mining Algorithms and Applications参考文献 25被引用 130

一句话总结

本文提出了一种在决策树归纳中集成交叉验证的方法，通过在不同折之间重用统计量来消除冗余计算，从而在计算开销极小的情况下实现显著的加速。通过将交叉验证与树构建过程结合，该方法在保持准确性的前提下降低了计算成本，尤其在稳定树中表现更优，即在各折中选择相同的测试。

ABSTRACT

Cross-validation is a useful and generally applicable technique often employed in machine learning, including decision tree induction. An important disadvantage of straightforward implementation of the technique is its computational overhead. In this paper we show that, for decision trees, the computational overhead of cross-validation can be reduced significantly by integrating the cross-validation with the normal decision tree induction process. We discuss how existing decision tree algorithms can be adapted to this aim, and provide an analysis of the speedups these adaptations may yield. The analysis is supported by experimental results.

研究动机与目标

• 降低传统n折交叉验证在决策树学习中的高计算成本。
• 通过重用中间统计量，消除在不同折中对同一测试的重复评估。
• 将交叉验证直接集成到决策树归纳过程中，避免对相似训练集的重复计算。
• 分析并实证验证该集成方法带来的性能提升。
• 探索该方法在决策树以外的其他学习算法中的可扩展性。

提出的方法

• 该方法在多个交叉验证折之间重用树归纳过程中计算出的统计摘要（如类别分布或方差分量）。
• 不独立重新处理每一折，而是通过单次遍历累积所有折中每个测试的统计量。
• 质量度量（如信息增益或方差减少）仅需基于聚合统计量一次性计算，避免每折重复计算。
• 通过修改节点优化步骤以支持多折统计量，将该方法集成到标准决策树算法（如ID3和C4.5）中。
• 算法维护单一数据结构，用于跟踪所有折中的测试结果和目标值，从而实现高效的质量计算。
• 引入优化策略以处理连续属性，通过分组相似阈值来最小化冗余测试评估。

实验结果

研究问题

• RQ1 通过在不同折之间重用中间统计量，能否显著提升决策树归纳中交叉验证的效率？
• RQ2 当同一测试在多个折中被选中时，计算冗余可减少到何种程度？
• RQ3 与标准n折交叉验证相比，该方法的运行时间和可扩展性开销如何？
• RQ4 在不稳定或复杂树中，限制进一步加速的主要性能瓶颈是什么？
• RQ5 该方法能否推广到其他学习算法（如规则归纳或神经网络）？

主要发现

• 所提方法将交叉验证的计算开销降低至原始成本的极小部分，尤其在稳定学习场景中表现显著。
• 对于稳定树（即各折中选择相同测试），开销低于原始交叉验证成本的10%。
• 在有利情况下，该方法实现了高达90%的加速，且在多个数据集和算法上均表现出一致的性能提升。
• 测试复杂度的波动和树的不稳定性被识别为增加开销的关键因素，但即使在这些条件下，该方法仍快于标准交叉验证。
• 该技术在离散且稳定的测试中效果最佳；连续属性因各折间阈值变化需额外处理。
• 该方法可推广至规则归纳，但对仅含连续参数的模型（如神经网络）适用性较低。