[論文レビュー] A Hybrid Tsallis-Polarization Impurity Measure for Decision Trees: Theoretical Foundations and Empirical Evaluation

Édouard Lansiaux, Idriss Jairi+1 more|arXiv (Cornell University)|Feb 19, 2026

Statistical Mechanics and Entropy被引用数 0

ひとこと要約

Integrated Tsallis Combination (ITC) を導入したハイブリッド不純度指標を提案。正規化された Tsallis エントロピーと指数化された偏極成分を組み合わせ、7つのデータセットに対して 23 の不純度指標と比較して理論的保証と経験的性能を評価。

ABSTRACT

We introduce the Integrated Tsallis Combination (ITC), a hybrid impurity measure for decision tree learning that combines normalized Tsallis entropy with an exponential polarization component. While many existing measures sacrifice theoretical soundness for computational efficiency or vice versa, ITC provides a mathematically principled framework that balances both aspects. The core innovation lies in the complementarity between Tsallis entropy's information-theoretic foundations and the polarization component's sensitivity to distributional asymmetry. We establish key theoretical properties-concavity under explicit parameter conditions, proper boundary conditions, and connections to classical measures-and provide a rigorous justification for the hybridization strategy. Through an extensive comparative evaluation on seven benchmark datasets comparing 23 impurity measures with five-fold repetition, we show that simple parametric measures (Tsallis $α=0.5$) achieve the highest average accuracy ($91.17\%$), while ITC variants yield competitive results ($88.38-89.16\%$) with strong theoretical guarantees. Statistical analysis (Friedman test: $χ^2=3.89$, $p=0.692$) reveals no significant global differences among top performers, indicating practical equivalence for many applications. ITC's value resides in its solid theoretical grounding-proven concavity under suitable conditions, flexible parameterization ($α$, $β$, $γ$), and computational efficiency $O(K)$-making it a rigorous, generalizable alternative when theoretical guarantees are paramount. We provide guidelines for measure selection based on application priorities and release an open-source implementation to foster reproducibility and further research.

研究の動機と目的

• 決定木の principled なハイブリッド不純度指標を提供し、理論と経験的性能のバランスを図る。
• ITC の concavity、境界条件、および古典的指標との関連性といった理論的性質を確立する。
• diverse なデータセットで ITC を 22 の他の不純度指標と比較し、頑健な統計解析を用いて経験的評価を行う。
• 測度選択の実務的ガイドラインを提供し、再現性を支えるオープンソース実装を提供する。

提案手法

• ITC を正規化された Tsallis エントロピーと指数化された偏 polarization 成分の凸結合として定義する。
• 境界条件、明示的なパラメータ制約下での凹性、Gini 及び Shannon 指標との結びつきといった理論的性質を証明する。
• 7データセットを対象に 23 の不純度指標を用いて5-fold クロスバリデーションを5回繰り返す大規模な経験的評価を実施する。
• 分割評価あたりの計算量を O(K) とする実装の詳細を評価し、計算複雑さを評価する。
• ITC の感度を調べ、実験的に最適な設定を特定するためのパラメータグリッド探索を実施する。
• 実務家向けのオープンソース実装とガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 ITC 不純度指標は、concavity や境界挙動の観点で古典的な不純度指標と理論的にどう比較されるか？
• RQ2 ITC の派生系は diverse なデータセットで 22 の他の不純度指標と比較して経験的性能はどうか？
• RQ3 ITC において理論的保証を保ちながら競争力のある、あるいはそれを上回る性能を得られるパラメータ設定は存在するか？
• RQ4 Gini や Shannon エントロピーなど伝統的な指標と比較して ITC の計算コストはどの程度か？
• RQ5 Shannon–Polarization のようなより単純なハイブリッド指標が、実践的には ITC よりも優れる条件はあるか？

主な発見

Rank	Measure	Accuracy	95% CI
1	Tsallis ( α=0.5 )	0.9117	[0.8936, 0.9298]
2	Rényi ( α=0.5 )	0.9085	[0.8890, 0.9280]
3	Shannon–Polarization	0.9064	[0.8875, 0.9253]
4	Shannon	0.9057	[0.8874, 0.9239]
5	Tsallis ( α=2.0 )	0.9020	[0.8823, 0.9217]
5	Gini	0.9020	[0.8823, 0.9217]
7	ITC ( α=1.3, β=4.5, γ=0.4 )	0.8916	[0.8707, 0.9125]
8	Kumaraswamy	0.8899	[0.8682, 0.9116]
8	Tsallis ( α=1.3 )	0.8899	[0.8682, 0.9116]
10	ITC ( α=1.7, β=4.5, γ=0.4 )	0.8859	[0.8637, 0.9080]

• 単純なパラメトリック指標（Tsallis α=0.5）はデータセット全体で平均精度が最も高くなる（0.9117）。
• ITC の派生は競争力のある結果（0.8838–0.8916）を示し、理論的保証が強い。
• Friedman テストでは上位 performers の間に有意な全体差は見られない（p=0.692）。
• ITC の計算は O(K) の計算量を維持し、Gini と同程度で、対数計算は不要。
• Shannon–Polarization のようなより単純なハイブリッドは、ハイブリッド比較において ITC 派生より高い精度を達成する。
• 経験的に最適な ITC パラメータは alpha*=2.0、beta*=4.5、gamma*=0.4 で見つかり、これらの値付近に ロバスト性のプラトーが存在する。