[论文解读] Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable

Sarah Tan, Matvey Soloviev+2 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 49被引用 37

一句话总结

本文提出树空间原型——树集成模型中每类的代表性实例——基于梯度提升树导出的新型距离函数。通过使用k-medoids近似方法自适应地、按类别选择原型，该方法在准确率上与原始集成模型相当或更优，并在人类可解释性研究中优于Shapley值，为可解释性提供了一种基于原型的特征归因替代方案。

ABSTRACT

Ensembles of decision trees perform well on many problems, but are not interpretable. In contrast to existing approaches in interpretability that focus on explaining relationships between features and predictions, we propose an alternative approach to interpret tree ensemble classifiers by surfacing representative points for each class -- prototypes. We introduce a new distance for Gradient Boosted Tree models, and propose new, adaptive prototype selection methods with theoretical guarantees, with the flexibility to choose a different number of prototypes in each class. We demonstrate our methods on random forests and gradient boosted trees, showing that the prototypes can perform as well as or even better than the original tree ensemble when used as a nearest-prototype classifier. In a user study, humans were better at predicting the output of a tree ensemble classifier when using prototypes than when using Shapley values, a popular feature attribution method. Hence, prototypes present a viable alternative to feature-based explanations for tree ensembles.

研究动机与目标

• 为解决树集成分类器缺乏可解释性的问题，这类模型虽强大但因包含数百甚至数千棵树而难以理解。
• 提出一种基于原型的可解释性框架，将关注点从特征重要性转向每类的代表性样本。
• 设计一种新型距离度量，用于梯度提升树，以编码预测输出和特征使用模式。
• 设计自适应原型选择方法，允许每类的原型数量可变，从而提升复杂类别的覆盖度。
• 通过人类用户研究，将原型的可解释性与Shapley值等成熟方法进行对比评估。

提出的方法

• 提出一种新型距离函数用于梯度提升树，捕捉特征对预测的贡献，将先前针对随机森林的距离度量推广至GBT。
• 改进k-medoids问题的近似算法，以高效选择在新距离度量下每类内部最中心的原型。
• 提出具有理论保证的类别感知原型选择方法，根据类别复杂度动态调整每类的原型数量。
• 将树空间原型用作最近邻原型分类器，其测试准确率在某些情况下甚至超过原始树集成模型。
• 通过用户研究比较人类在使用原型与Shapley值时对模型行为的理解能力。
• 将基于距离的排序方法应用于识别被污染数据集中的误标样本，在纠正效率上优于随机和损失基线。

实验结果

研究问题

• RQ1 能否从树集成模型的相似性中提取的原型，为模型行为提供比基于特征的解释更直观的解释？
• RQ2 如何为梯度提升树设计一种距离函数，使其同时反映预测输出和特征使用模式？
• RQ3 允许每类使用不同数量的原型，是否能提升可解释性和分类性能？
• RQ4 树空间原型能否作为独立、准确的分类器，其性能可与原始集成模型相匹配或超越？
• RQ5 在促进人类理解树集成模型预测方面，原型与Shapley值相比表现如何？

主要发现

• 使用原型时，人类用户对树集成分类器输出的预测能力显著优于使用Shapley值，p值约为0.035。
• 基于树空间原型构建的最近邻原型分类器在某些情况下实现了比原始树集成更高的测试准确率，表明原型能有效捕捉模型的预测能力。
• 所提出的基于距离的排序方法在识别被污染的MNIST 4-9数据中的误标样本方面，优于随机和损失基线，经微调后测试集准确率更高。
• 自适应原型选择方法提升了复杂类别的覆盖度，尽管在所有数据集上性能增益并非普遍存在。
• 树空间原型展现出强大的可解释性潜力，表明基于原型的解释可能是树集成模型中特征归因的可行替代方案。
• 结果表明，原型不仅能解释模型，甚至在某些情况下可作为更优的独立分类器使用。