[论文解读] Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach

Satoshi Hara, Kohei Hayashi|arXiv (Cornell University)|Jun 29, 2016

Explainable Artificial Intelligence (XAI)参考文献 17被引用 18

一句话总结

该论文提出了一种贝叶斯模型选择方法，可将复杂的树集成模型简化为可解释的、低复杂度的模型，同时不损失预测性能。通过将模型简化问题视为贝叶斯模型选择问题，并使用FAB推断实现可处理的边缘似然近似，该方法能自动识别出保持原始集成模型预测准确性的同时，显著减少决策区域数量的最小化、基于规则的表示形式。

ABSTRACT

Tree ensembles, such as random forests and boosted trees, are renowned for their high prediction performance. However, their interpretability is critically limited due to the enormous complexity. In this study, we present a method to make a complex tree ensemble interpretable by simplifying the model. Specifically, we formalize the simplification of tree ensembles as a model selection problem. Given a complex tree ensemble, we aim at obtaining the simplest representation that is essentially equivalent to the original one. To this end, we derive a Bayesian model selection algorithm that optimizes the simplified model while maintaining the prediction performance. Our numerical experiments on several datasets showed that complicated tree ensembles were reasonably approximated as interpretable.

研究动机与目标

• 为解决树集成模型中可解释性严重不足的问题，这些模型可能包含超过1,000个决策区域，因此人工难以理解。
• 将树集成模型简化形式化为贝叶斯模型选择问题，寻找在预测性能上与原始模型基本等价的最简模型。
• 通过使用概率模型表示并结合高效推断，克服在无限可能的区域配置中搜索的不可行性。
• 实现无需手动调整超参数或外层候选模型评估的自动模型复杂度选择。
• 生成可解释的、基于规则的模型，以反映数据中人类可理解的模式，例如在能效数据中的基于尺寸的负载预测。

提出的方法

• 将原始树集成模型表示为概率模型，以支持边缘似然的计算，这是贝叶斯模型选择中的关键组成部分。
• 应用因子分解渐近贝叶斯（FAB）推断，以可处理的形式近似边缘似然，从而实现高效的优化。
• 利用FAB推断内置的模型剪枝机制，自动确定最优模型复杂度，无需手动调整超参数。
• 通过学习最小化模型复杂度的同时保持与原始集成模型预测保真度的区域边界，优化输入空间的划分。
• 将简化任务视为区域配置的搜索，但通过在近似边缘似然上使用基于梯度的优化，避免穷举搜索。
• 通过在概率框架内将输出建模为连续值或独热向量，分别支持回归和分类任务。

实验结果

研究问题

• RQ1 能否将复杂的树集成模型简化为一个最小化、可解释的模型，同时保持其预测性能？
• RQ2 贝叶斯模型选择能否通过将非概率树集成模型（如XGBoost）重新表述为概率模型，从而适用于此类模型？
• RQ3 FAB推断的使用是否能实现无需手动调整模型复杂度的自动、高效模型选择？
• RQ4 简化后的模型能否生成与直观数据模式一致的人类可解释规则，例如在能效预测中的基于尺寸的影响？
• RQ5 与现有简化基线方法（如BATrees、inTrees和Node Harvest）相比，所提出方法在可解释性和性能方面表现如何？

主要发现

• 所提出方法在所有数据集上均实现了与原始树集成模型相比90%的区域数量减少，同时预测性能损失极小。
• 在能效数据集上，该方法仅基于整体高度和墙体面积提取出四个直观的、双特征规则，清晰地显示出小建筑负载低、大建筑负载高的趋势。
• 在可解释性方面，该方法优于BATrees、inTrees和Node Harvest，所提模型仅使用四条规则，而后者分别使用66、23和10条规则。
• 在预测性能方面，所提方法保持了接近最优的准确性，Synthetic1数据集上的平均测试误差为1.01±0.03，显著低于基线方法。
• 基于FAB推断的方法实现了无需外部超参数调优或多轮候选模型评估的自动模型选择。
• 简化后的模型不仅更具可解释性，还捕捉到了有意义且与领域一致的模式——例如，建筑尺寸越大，能耗负载越高，这一趋势在提取的规则中得到清晰体现。