[论文解读] Information gain ratio correction: Improving prediction with more balanced decision tree splits

Antonin Leroux, Matthieu Boussard+1 more|arXiv (Cornell University)|Jan 25, 2018

Data Mining Algorithms and Applications参考文献 7被引用 5

一句话总结

本文提出了一种改进的增益比率，称为平衡增益比率（balanced gain ratio），以通过减少对不平衡或低信息量划分的过拟合来纠正决策树分裂中的偏差。通过调整分裂信息惩罚项以偏好更平衡的划分，该方法在保持分类性能的同时，显著降低了树的深度和计算时间，同时在大型数据集上提升了预测准确性，优于C4.5原始的增益比率。

ABSTRACT

Decision trees algorithms use a gain function to select the best split during the tree's induction. This function is crucial to obtain trees with high predictive accuracy. Some gain functions can suffer from a bias when it compares splits of different arities. Quinlan proposed a gain ratio in C4.5's information gain function to fix this bias. In this paper, we present an updated version of the gain ratio that performs better as it tries to fix the gain ratio's bias for unbalanced trees and some splits with low predictive interest.

研究动机与目标

• 解决Quinlan的增益比率在决策树归纳中对不平衡或低信息量划分的偏差问题。
• 通过在分裂过程中偏好更平衡的树结构来提高预测准确性。
• 在不牺牲分类性能的前提下，减少树的深度和计算时间。
• 在UCI数据集仓库的真实数据集上评估校正增益函数的有效性。
• 证明该校正方法可减轻对高元数类别特征的过拟合，同时增强泛化能力。

提出的方法

• 平衡增益比率通过在分裂信息项中引入非线性校正因子，对Quinlan原始增益比率进行修改，从而降低对低信息但高平衡划分的惩罚。
• 该校正以乘法方式应用于分裂信息，保持单调性，同时在分裂信息较小时减弱惩罚。
• 采用改进的增益函数：$ \text{BalancedGainRatio}(S,C) = \frac{\text{Gain}(S,C)}{\text{SplitInform}(S,C)^{\alpha}} $，其中 $ \alpha $ 是学习得到或固定的参数，用于控制校正强度。
• 使用10×5折交叉验证在10个UCI数据集上评估该算法，涵盖数值和类别特征。
• 采用悲观误差剪枝法进行树剪枝，以确保泛化能力并防止过拟合。
• 以准确率、树的深度和计算效率为指标，将性能与原始C4.5增益比率进行比较。

实验结果

研究问题

• RQ1 与原始增益比率相比，平衡增益比率是否能减少对不平衡或低信息量划分的过拟合？
• RQ2 该校正增益函数在大型数据集上能多大程度地提升预测准确性？
• RQ3 平衡增益比率如何影响树的深度和计算效率？
• RQ4 该校正方法能否在高元数类别特征的数据集上保持或提升性能？
• RQ5 平衡增益比率在大型数据集上是否比在小型数据集上更有效？

主要发现

• 在BUPA数据集上，平衡增益比率将准确率提升了6.09个百分点，显著优于原始C4.5增益比率。
• 在大型Income和Bank数据集上，平衡增益比率将树的深度从约100降低至约20，显著提升了计算速度。
• 在Letter数据集上，平衡增益比率实现了87.40%的准确率，优于原始增益比率的86.85%，提升0.55%。
• 在Heart和Survival等小型数据集上，平衡增益比率表现边际或略差，表明对小型树的收益有限。
• 尽管降低了对类别特征的校正强度，平衡增益比率在Income和Bank数据集上仍优于原始增益比率，证明了其鲁棒性。
• 该方法在大多数数据集上（尤其是大型数据集）始终生成更短、更平衡的树，同时保持或提升了准确率。