[論文レビュー] Exploring the Decision Forest: An Empirical Investigation of Occam's Razor in Decision Tree Induction

Patrick M. Murphy, Michael J. Pazzani|ArXiv.org|Mar 1, 1994

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

この論文は、並列計算システムを用いて訓練データと整合するすべての意思決定木を体系的に生成することで、意思決定木の誘導におけるオッカムの剃刀を実証的に調査している。シンプルな木がより正確であるという原則とは対照的に、複数の人工的および実世界のデータセットにおいて、平均してわずかに大きな整合木が、より高いテスト精度を示すことが判明した。

ABSTRACT

We report on a series of experiments in which all decision trees consistent with the training data are constructed. These experiments were run to gain an understanding of the properties of the set of consistent decision trees and the factors that affect the accuracy of individual trees. In particular, we investigated the relationship between the size of a decision tree consistent with some training data and the accuracy of the tree on test data. The experiments were performed on a massively parallel Maspar computer. The results of the experiments on several artificial and two real world problems indicate that, for many of the problems investigated, smaller consistent decision trees are on average less accurate than the average accuracy of slightly larger trees.

研究の動機と目的

• 意思決定木のサイズと一般化精度の関係を調査すること。
• オッカムの剃刀に従い、より小さな意思決定木が、より大きな木よりも一貫して正確であるかどうかを検討すること。
• 訓練データと整合するすべての意思決定木の構造と性質を調査すること。
• 並列アーキテクチャ上で全探索を用いて、木の複雑さが予測性能に与える影響を評価すること。
• 意思決定木学習におけるオッカムの剃刀の妥当性に関する実証的証拠を提供すること。

提案手法

• 訓練データと整合するすべての意思決定木を、大規模並列マシンであるMasparコンピュータを用いて体系的に列挙した。
• 訓練例を完璧に適合させるすべての可能な木を特定するために、探索空間を体系的に調査した。
• 木のサイズは内部ノードの数で測定され、精度は独立したテストセットで評価された。
• 一般化性能を評価するために、合成データおよび実世界のデータセットを用いた実験が実施された。
• 統計解析により、さまざまなサイズの木の平均テスト精度を比較した。
• 指数的複雑性を有するすべての整合木を列挙する作業を、並列計算を活用して処理した。

実験結果

リサーチクエスチョン

• RQ1 訓練データと整合するより小さな意思決定木は、より大きな整合木よりも一般化性能が優れている傾向があるか？
• RQ2 与えられたデータセットに対して、すべての整合意思決定木の集合における精度の分布はいかなるものか？
• RQ3 実際の運用において、木のサイズとテストセット精度の相関関係はどのようになるか？
• RQ4 すべての整合木を考慮した場合、意思決定木の誘導においてオッカムの剃刀はどの程度成立するか？
• RQ5 多様なデータセットにおいて、小さな木と大きな木の間で、性能に体系的な差異があるか？

主な発見

• 研究対象の多くの問題において、より小さな整合意思決定木は、平均してわずかに大きな木よりも精度が低かった。
• 人工的および実世界の両方のデータセットにおいて、より大きな整合木の平均精度が、より小さな木を上回った。
• 整合木の性能がサイズの減少に伴い単調に向上するとはならず、これはオッカムの剃刀に反する。
• 整合木の集合は、小さな木が明確に優位であるとは限らない、顕著なテスト精度のばらつきを示した。
• 結果から、すべての整合木を考慮した場合、単純さを好む誘導バイアスが最適でない可能性があると示唆された。
• 本研究は、並列アーキテクチャ上での整合木の全探索が可能であり、一般化性能に非自明なパターンが存在することを明らかにした。