[論文レビュー] Improved Use of Continuous Attributes in C4.5

J. R. Quinlan|arXiv (Cornell University)|Mar 1, 1996

Bayesian Modeling and Causal Inference参考文献 1被引用数 8

ひとこと要約

この論文は、過学習を軽減するためのMDLにインspiredされたペナルティを導入することで、C4.5の連続属性の取り扱いを改善している。この手法により、情報量が少ない連続属性の分割が pruning され、より小さい、より正確な決定木が得られ、元のC4.5およびグローバル離散化や多区間分割を用いる代替手法を上回る性能を発揮する。

ABSTRACT

A reported weakness of C4.5 in domains with continuous attributes is addressed by modifying the formation and evaluation of tests on continuous attributes. An MDL-inspired penalty is applied to such tests, eliminating some of them from consideration and altering the relative desirability of all tests. Empirical trials show that the modifications lead to smaller decision trees with higher predictive accuracies. Results also confirm that a new version of C4.5 incorporating these changes is superior to recent approaches that use global discretization and that construct small trees with multi-interval splits.

研究の動機と目的

• 連続属性の取り扱いにおけるC4.5の既知の弱みに対処すること。これは、過学習や過度に複雑な木の生成を引き起こすことがある。
• 木の構築中に考慮する連続属性の分割の数を減らし、一般化性能を向上させること。
• 原理的で整合性のあるペナルティ機構を用いて、より単純で頑健な分割を優遇することで、予測精度を向上させること。
• 木のサイズと正確性の観点から、グローバル離散化や多区間分割を用いる既存の手法を上回ること。
• モデルの複雑さとトレーニングデータへの適合度のバランスを取る理論的根拠に基づくペナルティをC4.5に統合すること。

提案手法

• 分割評価の段階で、連続属性のテストに対してMDL（Minimum Description Length）にインスパイアされたペナルティを適用する。
• 分割評価基準を、考慮された異なる分割の数に比例する複雑さペナルティを差し引くことで修正する。
• 多数の潜在的分割点を持つ連続属性のテストの魅力を低下させ、過学習を抑制する。
• ペナルティが情報利得を上回る場合には、一部の連続分割を完全に考慮対象から除外する。
• C4.5アルゴリズムのコア構造を維持するが、連続属性のための選択プロセスを変更する。
• 情報利得とモデルの複雑さのトレードオフに基づいて、閾値に基づくアプローチを用いて、どの連続分割を含めるかを決定する。

実験結果

リサーチクエスチョン

• RQ1 C4.5の連続属性の取り扱いを、モデルの複雑さを増加させることなく、どのように改善できるか？
• RQ2 MDLにインスパイアされたペナルティは、連続属性の分割における過学習を効果的に軽減できるか？
• RQ3 複雑な連続属性の分割にペナルティを課すことで、より小さい、より正確な決定木が得られるか？
• RQ4 修正されたC4.5は、グローバル離散化技術と比較して予測性能で優れているか？
• RQ5 新しい手法は、連続属性に対して多区間分割を用いる手法を上回ることができるか？

主な発見

• 情報量が少ない連続属性の分割が pruning されたため、修正されたC4.5は元のC4.5よりも小さい決定木を生成する。
• 改善されたアルゴリズムは、テストデータにおいて元のC4.5よりも高い予測精度を達成する。
• 連続属性をグローバルに離散化する最近の手法よりも、本手法は優れている。
• 連続属性の多区間分割を用いて小さな木を構築する手法に対しても、本手法は上回る。
• MDLにインスパイアされたペナルティは、モデルの複雑さと情報利得のバランスを効果的に取っている。
• 実験的結果から、ペナルティ機構がより頑健で一般化可能な決定木をもたらすことが確認された。