[论文解读] Born-Again Tree Ensembles

Thibaut Vidal, Toni Pacheco+1 more|arXiv (Cornell University)|Mar 24, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用 22

一句话总结

本文提出一种最优动态规划算法，用于构建一个单一、最小规模的决策树——称为“重生树”——其在完整特征空间中精确复现给定树集成模型的预测结果。该方法在不损失准确率的前提下实现可证明最优的简化，从而在金融、医疗等高风险应用中实现高度可解释性。

ABSTRACT

The use of machine learning algorithms in finance, medicine, and criminal justice can deeply impact human lives. As a consequence, research into interpretable machine learning has rapidly grown in an attempt to better control and fix possible sources of mistakes and biases. Tree ensembles offer a good prediction quality in various domains, but the concurrent use of multiple trees reduces the interpretability of the ensemble. Against this background, we study born-again tree ensembles, i.e., the process of constructing a single decision tree of minimum size that reproduces the exact same behavior as a given tree ensemble in its entire feature space. To find such a tree, we develop a dynamic-programming based algorithm that exploits sophisticated pruning and bounding rules to reduce the number of recursive calls. This algorithm generates optimal born-again trees for many datasets of practical interest, leading to classifiers which are typically simpler and more interpretable without any other form of compromise.

研究动机与目标

• 解决金融、医疗和刑事司法等高风险领域对可解释机器学习模型的迫切需求。
• 通过寻找更简单且等价的表示形式，解决树集成模型在预测性能与可解释性之间的权衡问题。
• 正式定义并求解在所有输入特征上忠实复现给定树集成模型行为的最小规模决策树构造问题。
• 开发高效算法——包括最优与启发式方法——使其可扩展至实际数据集，同时保持预测保真度。
• 研究重生树的结构特性，并探索剪枝作为在不损失准确率的前提下进一步简化模型的方法。

提出的方法

• 将重生树集成问题形式化为寻找最小决策树 T 的问题，使得对所有 x ∈ ℝ^p 均有 F_T(x) = F_T(x)，其中大小以深度（D）、叶节点数（L）或分层目标（DL）衡量。
• 设计一种结合高级剪枝与边界规则的动态规划算法，以减少递归调用次数，提升计算效率。
• 通过从 3-SAT 问题约化，证明该问题在所有大小目标下均为 NP-难问题，确立其理论不可解性。
• 提出一种启发式变体，通过随机采样候选分割点并结合整数规划进行同质性检验，确保忠实性的同时降低运行时间。
• 利用严格的边界约束与递归分解技术，高效探索特征空间，聚焦于集成模型决策函数发生变化的区域。
• 对重生树应用后剪枝技术，进一步简化结构而不影响预测准确性，从而增强可解释性。

实验结果

研究问题

• RQ1 能否构建一个单一决策树，使其在完整特征空间中精确复现树集成模型的预测函数？
• RQ2 在深度、叶节点数或分层目标下，寻找最小规模此类树的计算复杂度如何？
• RQ3 最优与启发式算法在多大程度上可扩展至真实世界数据集，同时保持预测保真度？
• RQ4 重生树具有哪些结构特征？无表达力或冗余区域在集成模型行为中起到何种作用？
• RQ5 后剪枝能否在不降低性能的前提下进一步简化重生树？这对可解释性有何影响？

主要发现

• 在所有大小目标下，重生树问题均为 NP-难问题，证实了寻找最小表示形式的理论不可解性。
• 所提出的动态规划算法在多个实际数据集上计算出最优的重生树，在深度与叶节点数上均实现可证明的最小化。
• 启发式算法将平均计算时间从最优 L 目标下的 234.28 秒降低至 0.28 秒，代价为叶节点数平均增加 20.10%、深度平均增加 22.53%。
• 在六个不同数据集上，启发式方法在 BC 数据集上表现出平均 44.80% 的深度差距与 48.37% 的叶节点差距，显示出速度与最优性之间的权衡。
• 后剪枝显著简化了重生树结构，且未影响预测质量，从而生成高度可解释且高性能的模型。
• 该算法成功扩展至更大规模数据集，如 Ionosphere、Spambase 和 Miniboone（样本数超过 13 万，50 个特征），在启发式方法下运行时间低于一分钟。