[論文レビュー] On the Optimality of Trees Generated by ID3

Alon Brutzkus, Amit Daniely+1 more|arXiv (Cornell University)|Jul 11, 2019

Machine Learning and Data Classification参考文献 20被引用数 8

ひとこと要約

本稿では、ID3が生成する決定木の最適性を評価するための新しい指標であるMean Iteration Statistical Consistency（MIC）を導入する。理論的および実験的分析により、製品分布下での読み取り一回のDNF（read-once DNF）の学習において、TopDown版ID3が近似的に最適なMICを達成することが示され、広く使われているBestFirst版よりも優れた性能を示す。一方、BestFirst版は顕著に劣るMICを示し、より悪いテスト性能を示す。

ABSTRACT

Since its inception in the 1980s, ID3 has become one of the most successful and widely used algorithms for learning decision trees. However, its theoretical properties remain poorly understood. In this work, we introduce a novel metric of a decision tree algorithm's performance, called mean iteration statistical consistency (MIC), which measures optimality of trees generated by ID3. As opposed to previous metrics, MIC can differentiate between different decision tree algorithms and compare their performance. We provide theoretical and empirical evidence that the TopDown variant of ID3, introduced by Kearns and Mansour (1996), has near-optimal MIC in various settings for learning read-once DNFs under product distributions. In contrast, another widely used variant of ID3 has MIC which is not near-optimal. We show that the MIC analysis predicts well the performance of these algorithms in practice. Our results present a novel view of decision tree algorithms which may lead to better and more practical guarantees for these algorithms.

研究の動機と目的

• ID3の変種のような決定木アルゴリズム間の実用的性能差を予測できる理論的指標の不足に対処すること。
• 各イテレーションで、ID3が生成する木のテスト誤差と、同じサイズの最適木との差を測る新しい性能指標、Mean Iteration Statistical Consistency（MIC）を考案すること。
• 製品分布および一様分布下での読み取り一回のDNFの学習において、TopDown版とBestFirst版のID3のMICを比較すること。
• 理論的および実験的証拠を提供し、TopDown版が近似的に最適なMICを達成するが、BestFirst版はそうでないことを示し、これが現実世界のテスト性能を予測できることを示すこと。

提案手法

• 各イテレーションで、ID3が生成する木のテスト誤差と、同じサイズの最適木との差を測る指標として、Mean Iteration Statistical Consistency（MIC）を提案する。
• 到達確率に基づく加重利得削減に基づいて分割する葉を選択する、ID3のTopDown版を導入・分析する。
• 製品分布下での読み取り一回のDNFの最適テスト誤差を計算するための新規動的計画法を設計し、正確なMIC計算を可能にする。
• 訓練データサイズを変化させた一様分布および製品分布下で、有限サンプル上でのTopDown版とBestFirst版の実装と比較を行う。
• 理論的分析と実験的評価の両方を用いて、さまざまな設定下でのMICおよびテスト誤差性能を比較する。
• パラメータが異なるベルヌーイ分布下での10項および38変数の読み取り一回のDNFの設定に、この指標を適用する。

実験結果

リサーチクエスチョン

• RQ1 製品分布下での読み取り一回のDNFの学習において、ID3のTopDown版は近似的に最適なMICを達成するか？
• RQ2 BestFirst版のMICはTopDown版と比べてどの程度異なるか。また、これはより悪いテスト性能を予測できるか？
• RQ3 MICは決定木アルゴリズムの実用的テスト誤差性能を信頼できる指標として機能できるか？
• RQ4 特に論理積や2項DNFの学習のような特定の設定において、TopDown版の優れたMIC性能に理論的根拠はあるか？
• RQ5 一般化境界が効かない状況において、MICはアルゴリズムの変種をどれだけ明確に区別できるか？

主な発見

• 製品分布下での論理積の学習において、TopDown版は近似的に最適なMICを達成し、最適性の理論的証明が可能である。
• 一様分布下での2項読み取り一回のDNFの学習においても、TopDown版は理論的に近似的に最適なMICを達成する。
• 理論的および実験的分析により、BestFirst版は近似的に最適なMICを達成しないことが示され、実験では顕著に悪いテスト誤差を示す。
• MIC指標は現実世界の性能を的確に予測することができ、50〜50,000サンプルの全訓練データサイズで、TopDown版がBestFirst版を上回るテスト誤差を示す。
• 動的計画法により、製品分布下での読み取り一回のDNFの最適テスト誤差を正確に計算可能となり、MICの精密な評価が可能になる。
• MICは、与えられた設定において、ある決定木アルゴリズムが最良のアルゴリズムからどれほど離れているかを意味のある指標として提供し、アルゴリズム改善の実用的知見を提供する。