[论文解读] Model-agnostic Feature Importance and Effects with Dependent Features -- A Conditional Subgroup Approach

Christoph Molnar, Gunnar König+2 more|arXiv (Cornell University)|Jun 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用 14

一句话总结

该论文提出了一种模型无关的方法，用于在特征依赖条件下估计特征重要性和效应，通过决策树生成的条件子组实现。通过在可解释的子组内应用基于置换的重要性评估和部分依赖分析，该方法避免了外推，并实现了人类可理解的、局部有效的特征效应与重要性解释，在依赖特征设置下优于现有的方法（如 knockoffs 和 ALE）。

ABSTRACT

The interpretation of feature importance in machine learning models is challenging when features are dependent. Permutation feature importance (PFI) ignores such dependencies, which can cause misleading interpretations due to extrapolation. A possible remedy is more advanced conditional PFI approaches that enable the assessment of feature importance conditional on all other features. Due to this shift in perspective and in order to enable correct interpretations, it is therefore important that the conditioning is transparent and humanly comprehensible. In this paper, we propose a new sampling mechanism for the conditional distribution based on permutations in conditional subgroups. As these subgroups are constructed using decision trees (transformation trees), the conditioning becomes inherently interpretable. This not only provides a simple and effective estimator of conditional PFI, but also local PFI estimates within the subgroups. In addition, we apply the conditional subgroups approach to partial dependence plots (PDP), a popular method for describing feature effects that can also suffer from extrapolation when features are dependent and interactions are present in the model. We show that PFI and PDP based on conditional subgroups often outperform methods such as conditional PFI based on knockoffs, or accumulated local effect plots. Furthermore, our approach allows for a more fine-grained interpretation of feature effects and importance within the conditional subgroups.

研究动机与目标

• 解决在特征相关时，置换特征重要性（PFI）和部分依赖图（PDP）产生误导性解释的问题。
• 开发一种以透明、人类可理解的方式对相关特征依赖进行条件处理的方法，避免外推。
• 提供一个框架，用于估计同时考虑特征交互和依赖关系的全局与局部特征重要性和效应。
• 通过实现可解释的、子组特定的解释，改进现有的条件 PFI 和 PDP 方法（如 knockoffs 和 ALE）。

提出的方法

• 该方法利用训练以预测目标特征的决策树构建条件子组，从而在特征空间中创建可解释的划分。
• 在每个子组内，通过边际扰动计算置换特征重要性（PFI）和部分依赖图（PDP），确保局部有效性。
• 该方法在子组内使用置换来估计条件 PFI 和 PDP，保留联合特征分布，避免外推。
• 子组结构源自变换树，确保条件处理透明且可解释。
• 该方法可在每个子组内实现局部 PFI 和 PDP 估计，从而实现对特征效应的细致、上下文相关的解释。
• 该框架具有灵活性，可与各种决策树算法和划分规则结合使用，支持数值型和分类型特征。

实验结果

研究问题

• RQ1 如何在不外推至低密度区域的前提下，估计能考虑特征依赖关系的置换特征重要性？
• RQ2 当特征相关时，能否构建既准确又可解释的条件部分依赖图？
• RQ3 由特征依赖定义的子组中，局部特征重要性和效应估计如何变化？
• RQ4 所提出的条件子组方法在可解释性和准确性方面，相较于 knockoffs 和 ALE 等现有方法，优势有多大？
• RQ5 在何种情况下，基于子组的方法会失效？如何针对具有多重依赖关系的特征进行适应？

主要发现

• 在具有依赖特征的设置中，所提出的条件子组 PFI（cs-PFI）和 PDP（cs-PDP）方法优于标准 PFI、ALE 和基于 knockoffs 的方法，尤其在避免误导性外推方面表现突出。
• 在自行车租赁数据集中，cs-PDP 显示，在潮湿的夏季日子中，温度对自行车租赁无影响，这一细微差别被边际 PDP 和 ALE 所忽略。
• 在干燥的夏季日子中，cs-PDP 显示温度效应略为负向，体现了该方法捕捉上下文特定特征行为的能力。
• 基于温度条件的 cs-PDP 显示，低温时季节性差异对自行车租赁的影响远大于边际 PDP 所揭示的，后者掩盖了这些效应。
• 该方法成功解耦了相关特征的影响：例如，它正确识别出条件 PDP 中某一特征的看似正向效应，实则是由于与其他特征的相关性所致，而非真实因果效应。
• 当目标特征仅依赖少数其他特征时，该方法效果最佳；当存在多重依赖关系时，性能下降，提示需要预处理或采用其他插补策略。