[论文解读] Unifying Decision Trees Split Criteria Using Tsallis Entropy

Yisen Wang, Chaobing Song+1 more|arXiv (Cornell University)|Nov 25, 2015

Statistical Mechanics and Entropy被引用 8

一句话总结

本文提出了一种基于Tsallis熵的统一决策树分裂准则，通过可调参数$q$对香农熵、基尼指数和信息增益比进行泛化。Tsallis熵准则（TEC）算法在UCI数据集上相较于ID3、CART和C4.5等经典算法实现了统计上显著的平均4%准确率提升，且最优$q$值呈现出与数据相关的趋势。

ABSTRACT

The construction of efficient and effective decision trees remains a key topic in machine learning because of their simplicity and flexibility. A lot of heuristic algorithms have been proposed to construct near-optimal decision trees. ID3, C4.5 and CART are classical decision tree algorithms and the split criteria they used are Shannon entropy, Gain Ratio and Gini index respectively. All the split criteria seem to be independent, actually, they can be unified in a Tsallis entropy framework. Tsallis entropy is a generalization of Shannon entropy and provides a new approach to enhance decision trees' performance with an adjustable parameter $q$. In this paper, a Tsallis Entropy Criterion (TEC) algorithm is proposed to unify Shannon entropy, Gain Ratio and Gini index, which generalizes the split criteria of decision trees. More importantly, we reveal the relations between Tsallis entropy with different $q$ and other split criteria. Experimental results on UCI data sets indicate that the TEC algorithm achieves statistically significant improvement over the classical algorithms.

研究动机与目标

• 将经典的决策树分裂准则——香农熵、基尼指数和信息增益比——统一到一个参数化框架中。
• 通过引入具有可调参数$q$的Tsallis熵，提升决策树的性能。
• 揭示不同$q$值下Tsallis熵与现有分裂准则之间的数学关系。
• 通过实证验证TEC算法在准确率和复杂度方面相较于经典算法的优越性。
• 探索最优$q$值与数据特征（如类别数量或数据类型）之间的依赖关系。

提出的方法

• 提出一种基于Tsallis熵的分裂准则（TEC），通过可调参数$q$统一香农熵、基尼指数和信息增益比。
• 定义Tsallis熵为$ S_q(X) = \frac{1}{1-q} \left( \sum_{i=1}^n p(x_i)^q - 1 \right) $，当$q \to 1$时，其收敛于香农熵。
• 使用交叉验证为每个数据集选择最优$q$值，以在准确率与树复杂度之间取得平衡。
• 实现两种变体：Tsallis熵（TEC）和Tsallis信息增益比（TEC），通过归一化处理类别不平衡问题。
• 递归应用TEC算法，采用最大化信息增益的分裂准则构建决策树。
• 在11个UCI数据集上，以准确率和节点数为指标，将TEC与ID3（香农熵）、CART（基尼指数）和C4.5（信息增益比）进行比较。

实验结果

研究问题

• RQ1 Tsallis熵能否在单一参数化框架下统一决策树的经典分裂准则（香农熵、基尼指数、信息增益比）？
• RQ2 在不同数据集上，TEC算法的性能如何随参数$q$的变化而变化？
• RQ3 TEC算法是否在准确率和复杂度方面相较于ID3、CART和C4.5实现了统计上显著的提升？
• RQ4 最优$q$值与数据集特征（如类别数量或数据类型）之间存在何种关系？
• RQ5 Tsallis熵是否能在不牺牲可解释性的前提下，提供优于经典准则的泛化能力？

主要发现

• TEC算法在UCI数据集上相较于ID3、CART和C4.5等经典算法实现了统计上显著的平均4%准确率提升。
• 使用最优$q$的Tsallis熵在准确率和树复杂度方面均优于香农熵和基尼指数。
• Tsallis信息增益比的表现优于标准信息增益比，表明在Tsallis框架中归一化具有优势。
• 最优$q$值通常随类别数量的增加而减小，尽管存在例外情况（如Vehicle数据集）。
• 对于Car等数据集，性能对$q$不敏感，表明在低复杂度、高准确率场景下具有鲁棒性。
• Wilcoxon符号秩检验证实，TEC与经典算法之间的性能差异在$p < 0.01$水平上具有统计显著性。