[論文レビュー] Unifying Decision Trees Split Criteria Using Tsallis Entropy

Yisen Wang, Chaobing Song+1 more|arXiv (Cornell University)|Nov 25, 2015

Statistical Mechanics and Entropy被引用数 8

ひとこと要約

本稿では、調整可能なパrameter $q$ を用いてシャノンエントロピー、ジニ係数、ゲインレシオを一般化する、ツァリスエントロピーを用いた統一的決定木スプリット基準を提案する。Tsallis エントロピー基準（TEC）アルゴリズムは、UCI データセットにおいて、ID3、CART、C4.5 などの古典的アルゴリズムと比較して、平均で4%の有意な精度向上を達成した。最適な $q$ 値は、データに依存する傾向を示した。

ABSTRACT

The construction of efficient and effective decision trees remains a key topic in machine learning because of their simplicity and flexibility. A lot of heuristic algorithms have been proposed to construct near-optimal decision trees. ID3, C4.5 and CART are classical decision tree algorithms and the split criteria they used are Shannon entropy, Gain Ratio and Gini index respectively. All the split criteria seem to be independent, actually, they can be unified in a Tsallis entropy framework. Tsallis entropy is a generalization of Shannon entropy and provides a new approach to enhance decision trees' performance with an adjustable parameter $q$. In this paper, a Tsallis Entropy Criterion (TEC) algorithm is proposed to unify Shannon entropy, Gain Ratio and Gini index, which generalizes the split criteria of decision trees. More importantly, we reveal the relations between Tsallis entropy with different $q$ and other split criteria. Experimental results on UCI data sets indicate that the TEC algorithm achieves statistically significant improvement over the classical algorithms.

研究の動機と目的

• 古典的決定木スプリット基準（シャノンエントロピー、ジニ係数、ゲインレシオ）を、1つのパrametricフレームワークに統合すること。
• 調整可能なパrameter $q$ を用いたツァリスエントロピーの導入により、決定木の性能を向上させること。
• 異なる $q$ 値におけるツァリスエントロピーと既存のスプリット基準との間の数学的関係を明らかにすること。
• TECアルゴリズムの精度と複雑さについて、古典的アルゴリズムとの比較による実証的妥当性を検証すること。
• 一般化性能の向上に寄与する、データに依存する最適な $q$ 値の特定を検討すること。

提案手法

• 調整可能なパrameter $q$ を用いて、シャノンエントロピー、ジニ係数、ゲインレシオを一般化するツァリスエントロピーに基づくスプリット基準（TEC）を提案する。
• ツァリスエントロピーを $ S_q(X) = \frac{1}{1-q} \left( \sum_{i=1}^n p(x_i)^q - 1 \right) $ として定義し、$q \to 1$ の極限でシャノンエントロピーに収束することを示す。
• 交差検証を用いて、各データセットの最適な $q$ 値を、精度と木の複雑さのバランスを考慮して選択する。
• 2つの変種を実装する：ツァリスエントロピー（TEC）とツァリスゲインレシオ（TEC）、クラスの不均衡を補正するための正規化を施す。
• 情報ゲインを最大化するスプリット基準を再帰的に適用し、決定木を成長させる。
• 精度とノード数を指標として、11個のUCIデータセットにおいて、TECをID3（シャノンエントロピー）、CART（ジニ係数）、C4.5（ゲインレシオ）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ツァリスエントロピーは、シャノンエントロピー、ジニ係数、ゲインレシオという古典的スプリット基準を、1つのパrametricフレームワークに統合できるか？
• RQ2 異なる $q$ 値が、多様なデータセットにおけるTECアルゴリズムの性能に与える影響は何か？
• RQ3 TECアルゴリズムは、ID3、CART、C4.5 と比較して、精度と複雑さの両面で統計的に有意な向上を達成できるか？
• RQ4 最適な $q$ 値と、クラス数やデータタイプなどのデータセットの特徴との関係は何か？
• RQ5 ツァリスエントロピーは、解釈可能性を損なわずに、古典的基準よりも優れた一般化性能を提供できるか？

主な発見

• TECアルゴリズムは、UCI データセットにおいて、ID3、CART、C4.5 などの古典的アルゴリズムと比較して、平均で4%の有意な精度向上を達成した。
• 最適な $q$ を用いたツァリスエントロピーは、精度と木の複雑さの両面で、シャノンエントロピーおよびジニ係数を上回った。
• ツァリスゲインレシオは、標準ゲインレシオを上回る性能を示し、ツァリスフレームワークにおける正規化の利点を示した。
• 最適な $q$ 値は、クラス数の増加に従って減少傾向を示すが、例外も存在する（例：Vehicleデータセット）。
• Carなどのデータセットでは、$q$ に依存しないため、低複雑性・高精度な状況下でのロバスト性が示された。
• ウィルコクソン符号順位検定により、TECと古典的アルゴリズムとの間の性能差は、$p < 0.01$ で統計的に有意であることが確認された。