[论文解读] On the Optimality of Trees Generated by ID3

Alon Brutzkus, Amit Daniely+1 more|arXiv (Cornell University)|Jul 11, 2019

Machine Learning and Data Classification参考文献 20被引用 8

一句话总结

本文提出均值迭代统计一致性（MIC）这一新度量，用于评估ID3算法生成的决策树的最优性。理论与实证结果表明，在乘积分布下学习一次读取DNF时，ID3的TopDown变体实现了接近最优的MIC，优于广泛使用的BestFirst变体，后者表现出显著次优的MIC及更差的测试性能。

ABSTRACT

Since its inception in the 1980s, ID3 has become one of the most successful and widely used algorithms for learning decision trees. However, its theoretical properties remain poorly understood. In this work, we introduce a novel metric of a decision tree algorithm's performance, called mean iteration statistical consistency (MIC), which measures optimality of trees generated by ID3. As opposed to previous metrics, MIC can differentiate between different decision tree algorithms and compare their performance. We provide theoretical and empirical evidence that the TopDown variant of ID3, introduced by Kearns and Mansour (1996), has near-optimal MIC in various settings for learning read-once DNFs under product distributions. In contrast, another widely used variant of ID3 has MIC which is not near-optimal. We show that the MIC analysis predicts well the performance of these algorithms in practice. Our results present a novel view of decision tree algorithms which may lead to better and more practical guarantees for these algorithms.

研究动机与目标

• 为解决现有理论度量缺失的问题，这些度量无法预测ID3变体等决策树算法之间的实际性能差异。
• 提出一种新的性能度量——均值迭代统计一致性（MIC），用于评估ID3生成的决策树在每次迭代中，其测试误差与同尺寸最优树的接近程度。
• 在乘积分布和均匀分布下，比较ID3的TopDown与BestFirst变体在学习一次读取DNF时的MIC表现。
• 提供理论与实证证据，表明TopDown具有接近最优的MIC，而BestFirst则不具备，且该结果可预测真实世界中的测试性能。

提出的方法

• 提出均值迭代统计一致性（MIC）作为度量，用于衡量ID3生成的决策树在每次迭代中，其测试误差与同尺寸最优树之间的差异。
• 引入并分析ID3的TopDown变体，该变体基于可达概率加权的增益减少量来选择分裂的叶节点。
• 设计新颖的动态规划算法，用于在乘积分布下计算一次读取DNF的最优测试误差，从而实现MIC的精确计算。
• 在不同训练集大小的均匀分布与乘积分布下，对TopDown与BestFirst算法进行实现与比较。
• 结合理论分析与实证评估，比较不同设置下MIC与测试误差的表现。
• 将该度量应用于包含10个项与38个变量的一次读取DNF场景，在不同参数的伯努利分布下进行测试。

实验结果

研究问题

• RQ1 在乘积分布下学习一次读取DNF时，ID3的TopDown变体是否实现了接近最优的MIC？
• RQ2 BestFirst的MIC与TopDown相比如何？其是否能预测更差的测试性能？
• RQ3 MIC能否作为决策树算法实际测试误差性能的可靠预测指标？
• RQ4 是否存在理论依据解释TopDown在学习合取式或两 Term DNF等特定场景下表现出更优MIC的原因？
• RQ5 当标准泛化界无法区分算法变体时，MIC在多大程度上能有效区分不同算法变体？

主要发现

• 在乘积分布下学习合取式时，TopDown实现了接近最优的MIC，且其最优性已通过理论证明。
• 在均匀分布下学习两 Term 一次读取DNF时，TopDown同样实现了接近最优的MIC，理论证明成立。
• 理论与实证分析表明，BestFirst未实现接近最优的MIC，实验中其测试误差显著更差。
• MIC度量能有效预测真实世界性能：在所有测试的训练集大小（50至50,000个样本）下，TopDown的测试误差均优于BestFirst。
• 动态规划算法使在乘积分布下一次读取DNF的最优测试误差得以精确计算，从而支持MIC的精准评估。
• MIC为给定场景下，某一决策树算法与最优算法之间的距离提供了一个有意义的度量，为算法改进提供了实际洞见。