[论文解读] A survey and taxonomy of methods interpreting random forest models

Maïssae Haddouchi, Abdelaziz Berrado|arXiv (Cornell University)|Jul 17, 2024

Forest ecology and management被引用 4

一句话总结

本文对随机森林（RF）模型的可解释性方法进行了全面综述与分类，从模型无关与模型特定、全局与局部解释、特征重要性估计等多个维度对现有技术进行分类。该综述整合了当前的方法，为研究人员和实践者根据可解释性目标选择合适的解释工具提供指导，为提升基于随机森林的机器学习应用透明度提供结构化参考。

ABSTRACT

The interpretability of random forest (RF) models is a research topic of growing interest in the machine learning (ML) community. In the state of the art, RF is considered a powerful learning ensemble given its predictive performance, flexibility, and ease of use. Furthermore, the inner process of the RF model is understandable because it uses an intuitive and intelligible approach for building the RF decision tree ensemble. However, the RF resulting model is regarded as a "black box" because of its numerous deep decision trees. Gaining visibility over the entire process that induces the final decisions by exploring each decision tree is complicated, if not impossible. This complexity limits the acceptance and implementation of RF models in several fields of application. Several papers have tackled the interpretation of RF models. This paper aims to provide an extensive review of methods used in the literature to interpret RF resulting models. We have analyzed these methods and classified them based on different axes. Although this review is not exhaustive, it provides a taxonomy of various techniques that should guide users in choosing the most appropriate tools for interpreting RF models, depending on the interpretability aspects sought. It should also be valuable for researchers who aim to focus their work on the interpretability of RF or ML black boxes in general.

研究动机与目标

• 为解决随机森林模型的可解释性挑战，尽管其基于树的结构本身具有内在可解释性，但常被视为“黑箱”模型。
• 对文献中关于随机森林模型的现有解释技术进行系统性综述。
• 从多个维度对解释方法进行分类与组织，如模型无关与模型特定、全局与局部解释等。
• 支持研究人员和实践者根据特定的可解释性需求选择最合适的解释方法。
• 为未来在随机森林及其他机器学习黑箱模型中的可解释性研究奠定基础。

提出的方法

• 作者对聚焦于解释随机森林模型的研究进行了全面的文献回顾。
• 根据关键维度对解释方法进行分类：模型无关与模型特定、全局与局部解释，以及解释类型（如特征重要性、反事实分析、部分依赖等）。
• 该分类体系包括基于置换的特征重要性、部分依赖图、个体条件期望（ICE）、LIME、SHAP以及基于树的可解释性方法等技术。
• 分类过程涉及对方法论差异、可解释性目标及计算需求的分析。
• 本文将方法组织为结构化框架，以提升可用性，并根据应用场景指导选择。
• 综述强调实用指导，并突出可解释性深度、计算成本与原始模型保真度之间的权衡。

实验结果

研究问题

• RQ1 随机森林模型的解释方法主要有哪些类别，它们在方法和应用上如何不同？
• RQ2 在准确性、效率和可解释性方面，模型无关与模型特定的解释技术有何比较？
• RQ3 在解释随机森林预测时，全局与局部解释方法的优势与局限性分别是什么？
• RQ4 哪些解释技术在识别特征重要性和理解随机森林决策边界方面最为有效？
• RQ5 实践者如何根据其特定的可解释性目标和约束选择最合适的解释方法？

主要发现

• 综述识别出多种不同的解释方法类别，包括特征重要性、部分依赖、个体条件期望，以及LIME和SHAP等事后解释技术。
• 在许多情况下，模型特定方法（如基于置换的重要性分析和特征贡献分析）比模型无关方法更准确且更具可解释性。
• 全局解释方法（如部分依赖图和个体条件期望）可提供对输入空间中特征效应的洞察，但可能过度简化复杂交互关系。
• 局部解释方法（如LIME和SHAP）可提供实例级解释，但其保真度可能因代理模型和核函数选择而异。
• 该分类体系支持方法的系统性比较，凸显了计算成本、可解释性与原始模型保真度之间的权衡。
• 本研究强调应根据应用场景选择合适方法，且不存在在所有情况下都最优的单一方法。