[论文解读] General Pitfalls of Model-Agnostic Interpretation Methods for Machine Learning Models

Christoph Molnar, Gunnar König+7 more|arXiv (Cornell University)|Jul 8, 2020

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文识别并阐明了诸如PDP、PFI和SHAP等模型无关可解释性方法中的关键陷阱，表明由于特征依赖性、模型非泛化性或不合理的因果解释，误用这些方法可能导致错误结论。本文为从业者提供了实用指导，并指出了在可靠、因果感知的机器学习模型解释方面存在的开放研究挑战。

ABSTRACT

An increasing number of model-agnostic interpretation techniques for machine learning (ML) models such as partial dependence plots (PDP), permutation feature importance (PFI) and Shapley values provide insightful model interpretations, but can lead to wrong conclusions if applied incorrectly. We highlight many general pitfalls of ML model interpretation, such as using interpretation techniques in the wrong context, interpreting models that do not generalize well, ignoring feature dependencies, interactions, uncertainty estimates and issues in high-dimensional settings, or making unjustified causal interpretations, and illustrate them with examples. We focus on pitfalls for global methods that describe the average model behavior, but many pitfalls also apply to local methods that explain individual predictions. Our paper addresses ML practitioners by raising awareness of pitfalls and identifying solutions for correct model interpretation, but also addresses ML researchers by discussing open issues for further research.

研究动机与目标

• 提高机器学习从业者对使用模型无关方法解释机器学习模型时常见且高风险陷阱的认识。
• 识别并阐明特征依赖性、模型非泛化性以及错误因果解释等问题如何导致误导性结论。
• 为PDP、PFI和SHAP等解释技术的正确应用提供实用解决方案和指导。
• 突出在因果解释、不确定性估计以及处理高维或相互作用特征方面的模型解释中的开放研究挑战。
• 激发对诊断工具、解释方法的元评估以及模型和数据分布变化下稳健性的进一步研究。

提出的方法

• 系统性地回顾并分类全局模型无关解释方法中的常见陷阱，包括PDP、PFI、ALE、SHAP和LIME。
• 使用合成数据和真实世界示例，展示特征依赖性、模型过拟合以及高维设置如何扭曲解释结果。
• 应用结构因果模型（SCMs）表明，预测性特征重要性（如通过PFI或系数衡量）并不意味着因果重要性。
• 提出PDP可被解释为平均因果效应的条件，要求存在有效的调整集以及对数据生成过程的强假设。
• 讨论将特征重要性评分解释为因果效应的局限性，尤其是在特征存在混杂或构成因果链时。
• 提出需要诊断工具以检测误导性解释，并呼吁开展针对相互作用和依赖特征具有鲁棒性的方法研究。

实验结果

研究问题

• RQ1 在何种条件下，诸如PDP或PFI等模型无关解释方法会产生误导或错误的解释？
• RQ2 特征依赖性和交互作用如何影响PDP和ALE等全局解释方法的有效性？
• RQ3 在哪些场景下，特征重要性评分（如来自PFI或SHAP）可能被误认为是因果效应？实现因果解释需要哪些假设？
• RQ4 从业者如何检测模型解释因泛化能力差或过拟合而不可靠的情况？
• RQ5 在使用模型无关方法实现可信、因果感知的复杂机器学习模型解释方面，存在哪些开放研究挑战？

主要发现

• 当特征存在依赖关系时，PDP可能产生误导性结果，因为其对不存在于训练分布中的不现实数据组合进行了平均。
• 当特征相关时，置换特征重要性（PFI）可能产生错误的重要性排序，因为对一个特征的置换可能通过其相关特征间接影响预测结果。
• 来自随机森林或梯度提升等模型的特征重要性评分并不一定表示因果相关性，因为模型可能依赖于代理变量或混杂因素而非真正的原因。
• 即使模型表现良好，PFI值大于零也不能说明该特征是目标变量的原因；它可能只是相关变量或结果变量。
• 只有在强假设下（如PDP存在有效调整集以表示平均因果效应），模型无关方法的因果解释才有效。
• 在结构因果模型（SCM）生成的数据上使用线性模型，可能导致非因果特征（如$x_3$、$x_4$、$x_5$）被赋予非零系数，从而表明预测相关性 ≠ 因果相关性。