[论文解读] Improved Information Gain Estimates for Decision Tree Induction

Sebastian Nowozin|arXiv (Cornell University)|Jun 18, 2012

Neural Networks and Applications参考文献 28被引用 43

一句话总结

该论文通过校正传统熵估计中的偏差，提出改进的信息增益估计器——采用改进的离散熵和微分熵估计器——在实现最小代码改动的前提下，显著提升了决策树的预测性能。该方法通过减少信息论评分中的估计偏差，增强了分类与回归树的学习效果。

ABSTRACT

Ensembles of classification and regression trees remain popular machine learning methods because they define flexible non-parametric models that predict well and are computationally efficient both during training and testing. During induction of decision trees one aims to find predicates that are maximally informative about the prediction target. To select good predicates most approaches estimate an information-theoretic scoring function, the information gain, both for classification and regression problems. We point out that the common estimation procedures are biased and show that by replacing them with improved estimators of the discrete and the differential entropy we can obtain better decision trees. In effect our modifications yield improved predictive performance and are simple to implement in any decision tree code.

研究动机与目标

• 解决决策树归纳中标准信息增益估计程序存在的偏差问题。
• 通过改进离散与连续目标的熵估计，提升决策树的预测性能。
• 开发简单、可即插即用的替代熵估计器，对现有决策树代码的修改极小。
• 证明偏差校正的信息增益可提升分类与回归任务中的泛化能力。

提出的方法

• 用偏差校正的离散熵和微分熵估计器替代标准的最大似然熵估计器。
• 应用基于Miller-Madow校正和偏差减少技术的改进离散熵估计器。
• 采用基于核函数或最近邻方法的微分熵估计，并引入偏差校正。
• 在决策树的分裂选择过程中，将校正后的熵估计值集成到信息增益计算中。
• 通过避免复杂重训练或模型重构，保持计算效率。
• 在不改变架构的前提下，将改进的信息增益应用于分类与回归树算法。

实验结果

研究问题

• RQ1 标准信息增益估计中的偏差如何影响决策树的性能？
• RQ2 改进的熵估计器能否减少偏差并提升决策树的预测准确性？
• RQ3 偏差校正的熵估计对分类与回归树归纳有何影响？
• RQ4 将改进的估计器集成到现有决策树实现中是否具有实际可行性？

主要发现

• 所提出的偏差校正信息增益估计器在标准基准数据集上实现了更优的预测性能。
• 通过减少分裂选择过程中因熵估计偏差导致的过拟合，实现了更好的泛化能力。
• 改进效果在分类与回归任务中均保持一致，展现出广泛的适用性。
• 修改仅需极少的代码改动，计算效率高，适合集成到现有决策树库中。