[論文レビュー] Information gain ratio correction: Improving prediction with more balanced decision tree splits

Antonin Leroux, Matthieu Boussard+1 more|arXiv (Cornell University)|Jan 25, 2018

Data Mining Algorithms and Applications参考文献 7被引用数 5

ひとこと要約

本稿では、過学習を抑えるために不均衡または情報量が少ない分割に偏向するのを是正するため、修正されたギャップレート、すなわちバランス型ギャップレートを提案する。分割情報のペナルティをよりバランスの取れた分割を優遇するように調整することで、特に大規模データセットにおいて、予測精度を向上させるとともに、C4.5の元々のギャップレートと比較して、木の深さと計算時間を顕著に短縮する。

ABSTRACT

Decision trees algorithms use a gain function to select the best split during the tree's induction. This function is crucial to obtain trees with high predictive accuracy. Some gain functions can suffer from a bias when it compares splits of different arities. Quinlan proposed a gain ratio in C4.5's information gain function to fix this bias. In this paper, we present an updated version of the gain ratio that performs better as it tries to fix the gain ratio's bias for unbalanced trees and some splits with low predictive interest.

研究の動機と目的

• Quinlanのギャップレートが意思決定木の誘導において、不均衡または情報量が少ない分割に偏向する問題に対処すること。
• 分割の段階でよりバランスの取れた木構造を優遇することで、予測精度を向上させること。
• 分類性能を損なわずに、木の深さと計算時間を短縮すること。
• UCIレポジトリの実世界のデータセットを用いて、修正されたギャップ関数の有効性を評価すること。
• 修正が高アリティのカテゴリカル特徴への過学習を緩和し、一般化性能を向上させることを示すこと。

提案手法

• バランス型ギャップレートは、Quinlanの元々のギャップレートを、分割情報項に非線形補正因子を導入することで修正する。これにより、情報量が少ないがバランスの取れた分割のペナルティが低減される。
• 補正は分割情報に乗算的に適用され、単調性を保ちつつ、分割情報が小さい場合のペナルティを弱める。
• 修正されたギャップ関数を用いる：$ \text{BalancedGainRatio}(S,C) = \frac{\text{Gain}(S,C)}{\text{SplitInform}(S,C)^{\alpha}} $、ここで$ \alpha$は補正の強度を制御する学習済みまたは固定パラメータである。
• 10×5-fold交差検証を用いて、数値特徴とカテゴリカル特徴を含む10個のUCIデータセットでアルゴリズムを評価する。
• 一般化を確保し、過学習を防ぐために、否定的誤差プルーニングを適用する。
• 性能は、正解率、木の深さ、計算効率を指標として、元々のC4.5ギャップレートと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 バランス型ギャップレートは、元々のギャップレートと比較して、不均衡または情報量が少ない分割への過学習を低減するか？
• RQ2 修正されたギャップ関数は、大規模データセットにおいて予測精度をどの程度向上させるか？
• RQ3 バランス型ギャップレートは、木の深さと計算効率にどのように影響を与えるか？
• RQ4 高アリティのカテゴリカル特徴を含むデータセットにおいて、この補正は性能を維持または向上させられるか？
• RQ5 バランス型ギャップレートは、小規模データセットよりも大規模データセットでより効果的か？

主な発見

• BUPAデータセットでは、バランス型ギャップレートが元々のC4.5ギャップレートと比較して、正解率を6.09ポイント向上させた。
• 大規模なIncomeおよびBankデータセットでは、バランス型ギャップレートにより木の深さが約100から約20に短縮され、計算速度が著しく向上した。
• Letterデータセットでは、バランス型ギャップレートが87.40%の正解率を達成したのに対し、元々のギャップレートは86.85%であった。0.55%の向上を達成した。
• HeartやSurvivalのような小規模データセットでは、バランス型ギャップレートはわずかまたはわずかに悪い性能を示した。これは、小規模な木では恩恵が限定的であることを示している。
• カテゴリカル特徴の補正を減らしても、IncomeおよびBankデータセットにおいて、バランス型ギャップレートは元々のギャップレートを上回った。これは、強靭性を示している。
• この手法は、特に大規模データセットにおいて、一貫して短くバランスの取れた木を生成し、精度を維持または向上させた。