[论文解读] Generalized and Scalable Optimal Sparse Decision Trees

Jimmy Lin, Chudi Zhong+3 more|arXiv (Cornell University)|Jun 15, 2020

Explainable Artificial Intelligence (XAI)被引用 41

一句话总结

GOSDT 提供一个通用框架，用于在多目标下优化稀疏决策树（如 AUC、F-score），并在不进行离散化的情况下可扩展处理连续特征。

ABSTRACT

Decision tree optimization is notoriously difficult from a computational perspective but essential for the field of interpretable machine learning. Despite efforts over the past 40 years, only recently have optimization breakthroughs been made that have allowed practical algorithms to find optimal decision trees. These new techniques have the potential to trigger a paradigm shift where it is possible to construct sparse decision trees to efficiently optimize a variety of objective functions without relying on greedy splitting and pruning heuristics that often lead to suboptimal solutions. The contribution in this work is to provide a general framework for decision tree optimization that addresses the two significant open problems in the area: treatment of imbalanced data and fully optimizing over continuous variables. We present techniques that produce optimal decision trees over a variety of objectives including F-score, AUC, and partial area under the ROC convex hull. We also introduce a scalable algorithm that produces provably optimal results in the presence of continuous variables and speeds up decision tree construction by several orders of magnitude relative to the state-of-the art.

研究动机与目标

• 处理不平衡数据并在决策树中对连续变量进行全面优化。
• 实现多目标的最优稀疏树（F-score、AUC、pAUC、加权准确率、平衡准确率）。
• 提供严格的界限和表示来剪枝搜索空间并证明最优性。

提出的方法

• 引入用于稀疏决策树优化的带界限的一般动态规划（DPB）框架。
• 开发新的界限（分层目标下界、增量进展界限、相似支持界限、等效点界限、子集界限）以剪枝搜索空间。
• 通过叶子集合和支持集合表示 DP 搜索空间，以暴露对连续特征的计算复用。
• 使用优先队列驱动的异步界限更新机制高效传播改进。
• 避免桶化；证明其最优性损失，并在训练数据上直接优化精确的排序统计量（如 AUC、pAUC）。

实验结果

研究问题

• RQ1 GOSDT 是否能够对非准确性目标（如 AUC 和 F-score）实现稀疏决策树的最优优化？
• RQ2 在不进行桶化的情况下，如何处理连续特征，同时保持最优性并加速计算？
• RQ3 哪些界限和表示最能缩减搜索空间并实现可扩展优化？
• RQ4 与现有的最优树方法相比，GOSDT 在不平衡数据集上的表现如何？

主要发现

• GOSDT 可以在包括 AUC、pAUC、F-score、平衡准确率和加权准确率在内的广泛目标集合上进行优化。
• 桶化预处理会降低最优性；GOSDT 通过避免桶化来保持最优性。
• 基于 DPB 的 GOSDT 在可扩展性和运行时间方面显著优于先前方法，特别是在连续变量方面。
• 分层下界以及增量/相似支持界限显著剪枝搜索空间，并实现更快速的最优性证明。
• GOSDT 产生稀疏、准确的树，并在多样化数据集上展示了从时间到最优性的结果。