[論文レビュー] Multiple decision trees

Suk Wah Kwok, Chris Carter|arXiv (Cornell University)|Mar 27, 2013

Data Mining Algorithms and Applications参考文献 8被引用数 10

ひとこと要約

本稿では、分類性能を向上させるために、修正されたID3アルゴリズムを用いて訓練された複数の意思決定木の予測を平均化する手法を提案する。構造が異なる高品質な木の少数に焦点を当てることで、標準ID3木を含む個々の木よりも、2つのドメインでより高い精度を達成した。これは、完全なベイズモデル平均化を実行しないで、アンサンブル平均化の有効性を示している。

ABSTRACT

This paper describes experiments, on two domains, to investigate the effect of averaging over predictions of multiple decision trees, instead of using a single tree. Other authors have pointed out theoretical and commonsense reasons for preferring the multiple tree approach. Ideally, we would like to consider predictions from all trees, weighted by their probability. However, there is a vast number of different trees, and it is difficult to estimate the probability of each tree. We sidestep the estimation problem by using a modified version of the ID3 algorithm to build good trees, and average over only these trees. Our results are encouraging. For each domain, we managed to produce a small number of good trees. We find that it is best to average across sets of trees with different structure; this usually gives better performance than any of the constituent trees, including the ID3 tree.

研究の動機と目的

• 複数の意思決定木からの予測を平均化することで、単一の木モデルよりも性能が向上するかどうかを調査すること。
• 木の数が膨大であるため、すべての可能な木に対する正確なベイズモデル平均化を計算することが現実的でないという問題に対処すること。
• 構造的に多様で高品質な木の少数を選び、それらを平均化することで、完全なモデル平均化の実用的代替案を開発すること。
• 木の多様性が、個々の木の精度を上回るアンサンブル性能に寄与するかどうかを評価すること。
• 現実世界のドメインにおいて、実行可能で効果的なアンサンブル手法の可能性を示すこと。

提案手法

• 構造的に多様で高パフォーマンスな木を促進するように調整された、ID3アルゴリズムの修正版を用いて複数の意思決定木を生成する。
• すべての可能な木の確率を推定するのではなく、修正されたID3プロセスによって特定された、管理可能な良好な木のサブセットに焦点を当てる。
• 選択された木からの予測を平均化して、最終的なアンサンブル出力を得る。
• 異なる分割基準やトレーニング手順を用いることで、構造的に異なる木を生成するように多様性を促進する。
• 2つのベンチマークドメインにおいて、アンサンブルの性能を個々の木（標準ID3木を含む）と比較する。
• すべての可能な木の確率を推定する必要がないため、完全なベイズモデル平均化を回避する。

実験結果

リサーチクエスチョン

• RQ1 複数の意思決定木からの予測を平均化することで、単一の木よりも分類精度が向上するか？
• RQ2 アンサンブルの性能は、構成する木の構造的多様性に依存するか？
• RQ3 すべての可能な木に対する完全なベイズ平均化を計算しないで、効果的なアンサンブル学習を達成するのは現実的か？
• RQ4 アンサンブルの性能は、個々のID3木や他の単一の木と比べてどうか？
• RQ5 高品質で多様な木の少数が、その集合に含まれる任意の単一の木よりも優れた結果をもたらすか？

主な発見

• 構造が異なる複数の木からの予測平均化は、標準ID3木を含むいかなる個々の木よりも一貫して優れた性能を示した。
• 評価された2つのドメインすべてで、アンサンブル手法は集合内での最良単一木よりも高い精度を達成した。
• 性能向上は、木同士の構造的多様性に起因するとされ、多様性が一般化性能を向上させることを示している。
• 修正されたID3アルゴリズムは、効果的なアンサンブル平均化に適した少数の高品質な木を効果的に生成できた。
• 完全なベイズモデル平均化の代替手段として実用的であり、木の確率推定の非現実的さを回避した。
• 結果は前向きであり、実世界の分類タスクにおけるこのアンサンブル手法の実現可能性を示している。