[論文レビュー] Improved Information Gain Estimates for Decision Tree Induction

Sebastian Nowozin|arXiv (Cornell University)|Jun 18, 2012

Neural Networks and Applications参考文献 28被引用数 43

ひとこと要約

この論文では、従来のエントロピー推定値のバイアスを是正することで、意思決定木のインダクションにおける情報ゲインの推定値を改善する手法を提案している。改善された離散エントロピーおよび微分エントロピー推定値を用いることで、最小限の実装コストで予測性能が向上する。この手法は、情報理論的スコアリングにおける推定バイアスを低減させることで、分類および回帰木学習の両方を向上させる。

ABSTRACT

Ensembles of classification and regression trees remain popular machine learning methods because they define flexible non-parametric models that predict well and are computationally efficient both during training and testing. During induction of decision trees one aims to find predicates that are maximally informative about the prediction target. To select good predicates most approaches estimate an information-theoretic scoring function, the information gain, both for classification and regression problems. We point out that the common estimation procedures are biased and show that by replacing them with improved estimators of the discrete and the differential entropy we can obtain better decision trees. In effect our modifications yield improved predictive performance and are simple to implement in any decision tree code.

研究の動機と目的

• 意思決定木のインダクションに用いられる標準的な情報ゲイン推定手順におけるバイアスを是正すること。
• 離散的および連続的ターゲットの両方のエントロピー推定値を精緻化することで、意思決定木の予測性能を向上させること。
• 既存のエントロピー推定値の代替として、既存の意思決定木コードへの変更を最小限に抑えたシンプルなプラグイン型の代替手法を開発すること。
• バイアス補正済み情報ゲインが、分類および回帰の両タスクにおいてより良い一般化性能を達成することを示すこと。

提案手法

• 離散および微分エントロピーのための標準的な最尤推定値に代えて、バイアス補正済みバージョンを採用する。
• ミラー＝マドウ補正およびバイアス低減技術に基づく改善された離散エントロピー推定値を適用する。
• カーネルベースまたは最近傍法を用いた微分エントロピー推定に、バイアス補正を適用する。
• 分割選択の段階で、補正済みエントロピー推定値を情報ゲイン計算に統合する。
• 再トレーニングやモデル再構成を避けることで、計算効率を維持する。
• アーキテクチャの変更なしに、分類および回帰木アルゴリズムの両方へ改善された情報ゲインを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な情報ゲイン推定におけるバイアスは、意思決定木の性能にどのように影響を与えるか？
• RQ2 改善されたエントロピー推定値は、バイアスを低減させ、意思決定木の予測精度を向上させることができるか？
• RQ3 バイアス補正済みエントロピー推定値は、分類および回帰木のインダクションにどのような影響を与えるか？
• RQ4 改善された推定値を既存の意思決定木実装に統合するのは、実用的か？

主な発見

• 提案されたバイアス補正済み情報ゲイン推定値は、標準ベンチマークデータセット上で優れた予測性能を示した。
• 分割選択段階でのバイアスのあるエントロピー推定値による過学習を低減することで、より良い一般化性能が達成された。
• 改善効果は分類および回帰の両タスクで一貫しており、広範な適用可能性が示された。
• コード変更が最小限で、計算的にも効率的であるため、既存の意思決定木ライブラリへの統合に適している。