[论文解读] Causal Interpretability for Machine Learning -- Problems, Methods and Evaluation

Raha Moraffah, Mansooreh Karami+3 more|arXiv (Cornell University)|Mar 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 99被引用 13

一句话总结

本文提出机器学习中的因果可解释性作为框架，通过利用反事实推理和因果推断，回答模型决策中的“为什么”和“如果……会怎样”问题。它提出了一套因果可解释性方法的分类体系——包括反事实示例、基于模型的分析、公平性评估和因果关系验证——并提供了一个综合的评估框架，包含保真度、多样性、忠实度和因果公平性等指标。

ABSTRACT

Machine learning models have had discernible achievements in a myriad of applications. However, most of these models are black-boxes, and it is obscure how the decisions are made by them. This makes the models unreliable and untrustworthy. To provide insights into the decision making processes of these models, a variety of traditional interpretable models have been proposed. Moreover, to generate more human-friendly explanations, recent work on interpretability tries to answer questions related to causality such as "Why does this model makes such decisions?" or "Was it a specific feature that caused the decision made by the model?". In this work, models that aim to answer causal questions are referred to as causal interpretable models. The existing surveys have covered concepts and methodologies of traditional interpretability. In this work, we present a comprehensive survey on causal interpretable models from the aspects of the problems and methods. In addition, this survey provides in-depth insights into the existing evaluation metrics for measuring interpretability, which can help practitioners understand for what scenarios each evaluation metric is suitable.

研究动机与目标

• 为解决传统可解释模型仅通过观测到的相关性解释决策、而无法进行反事实推理的局限性。
• 提出因果可解释性作为一种新范式，用于回答关于特征或模型组件在假设性变化下模型决策的“如果……会怎样”问题。
• 系统性地构建因果可解释性方法的分类体系，包括反事实生成、模型组件分析、公平性评估和因果关系验证。
• 使用针对不同属性（如保真度、多样性、忠实度和因果公平性）量身定制的指标，评估因果可解释性方法。
• 指导从业者根据具体应用场景和模型在假设情景下的行为，选择合适的评估指标。

提出的方法

• 将因果可解释性分为四类：反事实示例、基于模型的可解释性、因果公平性模型和因果关系验证。
• 利用因果推断中的反事实分析，生成可改变模型预测的假设性输入，从而实现“如果……会怎样”的推理。
• 采用距离度量（如L2、汉明距离）衡量生成反事实的保真度和多样性，其中多样性定义为反事实之间两两距离的平均值。
• 使用基于梯度的优化方法高效生成反事实，通过时间和梯度更新次数衡量生成速度。
• 引入用于视觉-语言反事实的指标，包括基于IoU的准确率以及视觉区域与语言解释之间的一致性。
• 采用因果效应估计（如平均因果效应）评估模型组件的重要性，并验证显著性图。

实验结果

研究问题

• RQ1 机器学习模型如何提供超越相关性、并能回答‘如果……会怎样’情景的解释？
• RQ2 因果可解释性的关键方法类别是什么？它们与传统可解释模型有何不同？
• RQ3 在保真度、多样性和忠实度方面，评估反事实解释质量的最合适指标有哪些？
• RQ4 如何将因果可解释性应用于检测和解释模型决策中的偏见与歧视？
• RQ5 评估基于模型的因果可解释性和因果公平性面临哪些挑战？如何应对？

主要发现

• 因果可解释性通过生成改变输入特征或模型组件的反事实示例，使模型能够回答‘为什么’和‘如果……会怎样’的问题。
• 反事实生成方法实现了高保真度和多样性，其中多样性以生成反事实之间的平均成对距离衡量。
• 使用IoU和准确率等指标，验证多模态反事实中视觉区域与语言解释之间的一致性。
• 基于模型的因果可解释性利用因果效应估计（如ACE）识别关键组件，显著性图用于可视化局部决策规则。
• 因果公平性评估依赖于直接效应、间接效应和虚假效应的分解以检测偏见，但目前尚无标准化的定量指标。
• 本综述识别出一个关键评估缺口：缺乏基于真实标签的统一因果公平性指标，凸显了该领域仍存在的开放挑战。