[论文解读] Interpreting Tree Ensembles with inTrees

Houtao Deng|arXiv (Cornell University)|Aug 23, 2014

Neural Networks and Applications参考文献 4被引用 47

一句话总结

本文提出 inTrees 框架，可从随机森林和提升树等树集成模型中提取、度量、剪枝并选择可解释规则，从而提升模型可解释性、可调试性与可部署性。该方法生成一种简化的基于规则的学习器（STEL），其性能具有竞争力，在 18 个 UCI 数据集中有 13 个数据集的表现优于 rpart，且差异具有统计显著性。

ABSTRACT

Tree ensembles such as random forests and boosted trees are accurate but difficult to understand, debug and deploy. In this work, we provide the inTrees (interpretable trees) framework that extracts, measures, prunes and selects rules from a tree ensemble, and calculates frequent variable interactions. An rule-based learner, referred to as the simplified tree ensemble learner (STEL), can also be formed and used for future prediction. The inTrees framework can applied to both classification and regression problems, and is applicable to many types of tree ensembles, e.g., random forests, regularized random forests, and boosted trees. We implemented the inTrees algorithms in the "inTrees" R package.

研究动机与目标

• 为解决随机森林和提升树等树集成模型缺乏可解释性的问题，此类问题阻碍了模型的理解、调试与部署。
• 开发一种系统化方法，从树集成模型中提取、度量并处理规则，以增强模型透明度。
• 从提取的规则中构建一种简化的基于规则的学习器（STEL），以保持预测性能，便于未来部署。
• 识别并提取树集成模型中的频繁变量交互，以揭示数据中的潜在模式。
• 实现一种高效、分布式的规则提取与处理方法，适用于多种树集成类型，包括随机森林和提升树。

提出的方法

• 通过从根节点到叶节点遍历集成中的每棵决策树，提取规则，将条件（C）表示为变量-值对的合取，叶节点的输出（T）作为规则结果。
• 对单个规则应用规则剪枝，以去除无关或冗余的变量-值对，提升规则清晰度并减少过拟合。
• 基于频率和准确率等统计度量对规则进行排序与选择，形成紧凑且非冗余的规则集合，以获得最小但有效的规则集。
• 通过挖掘规则间共现的条件，识别频繁变量交互，揭示数据中关键的预测器关系。
• 从选定规则构建一种简化的树集成学习器（STEL），以实现在生产环境中的高效预测。
• 在 inTrees R 包中实现该框架，支持二元分裂树，并可在分布式系统中实现并行处理。

实验结果

研究问题

• RQ1 能否从随机森林和提升树等复杂树集成模型中有效提取可解释规则，以提升模型透明度？
• RQ2 如何系统性地剪枝提取规则中冗余或无关的变量-值对，以增强规则清晰度与泛化能力？
• RQ3 从树集成规则中衍生的简化基于规则学习器（STEL）在多大程度上能匹配或超越传统学习器（如 rpart）的性能？
• RQ4 从树集成规则中可发现哪些频繁变量交互？这些交互如何反映数据的潜在结构？
• RQ5 inTrees 框架能否在分布式计算环境中高效部署，以实现可扩展的规则提取与处理？

主要发现

• 简化的树集成学习器（STEL）在 18 个 UCI 数据集中的 13 个上显著优于 rpart，表明规则处理后仍具有强大的预测性能。
• STEL 仅在 5 个数据集上显著落后于 rpart，且当其表现较差时，相对差异超过 10% 的情况仅出现一次（16.6%），表明其具有鲁棒性。
• 在 18 个数据集中的 14 个中，频率 >0.1 的最准确规则的误差率为 0，表明在大多数情况下规则质量高且泛化能力强。
• 在 'led7' 数据集中，规则的误差率为 0.211（21.1%），与表 9 中其整体误差率较高相符，表明规则集准确反映了数据的难度。
• inTrees 框架成功从多样化树集成模型中提取了可解释规则与频繁变量交互，适用于分类与回归任务。
• inTrees R 包支持可扩展的分布式规则提取与处理，适用于不同编程环境中的实际部署。