[论文解读] A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution

Aria Khademi, Vasant Honavar|arXiv (Cornell University)|Aug 1, 2020

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种因果归因框架，通过使用Rubin-Neyman潜在结果框架估计每个输入特征对模型输出的因果效应，以解释黑箱预测模型。结果表明，与基于相关性的方法相比，因果归因在存在混杂因素的情况下能提供更可靠、更可信的解释，并在包括手写数字分类和帕金森病预测在内的合成数据集和真实世界数据集中验证了该方法的有效性。

ABSTRACT

With the increasing adoption of predictive models trained using machine learning across a wide range of high-stakes applications, e.g., health care, security, criminal justice, finance, and education, there is a growing need for effective techniques for explaining such models and their predictions. We aim to address this problem in settings where the predictive model is a black box; That is, we can only observe the response of the model to various inputs, but have no knowledge about the internal structure of the predictive model, its parameters, the objective function, and the algorithm used to optimize the model. We reduce the problem of interpreting a black box predictive model to that of estimating the causal effects of each of the model inputs on the model output, from observations of the model inputs and the corresponding outputs. We estimate the causal effects of model inputs on model output using variants of the Rubin Neyman potential outcomes framework for estimating causal effects from observational data. We show how the resulting causal attribution of responsibility for model output to the different model inputs can be used to interpret the predictive model and to explain its predictions. We present results of experiments that demonstrate the effectiveness of our approach to the interpretation of black box predictive models via causal attribution in the case of deep neural network models trained on one synthetic data set (where the input variables that impact the output variable are known by design) and two real-world data sets: Handwritten digit classification, and Parkinson's disease severity prediction. Because our approach does not require knowledge about the predictive model algorithm and is free of assumptions regarding the black box predictive model except that its input-output responses be observable, it can be applied, in principle, to any black box predictive model.

研究动机与目标

• 解决在医疗、金融和刑事司法等高风险领域中对可信、因果性解释黑箱预测模型的迫切需求。
• 克服基于相关性的解释方法的局限性，这些方法无法考虑混杂因素，导致归因不可靠。
• 开发一种与模型无关的方法，仅通过可观测的输入-输出行为解释黑箱模型，无需了解模型的内部结构。
• 将模型解释建立在因果性基础上，确保解释能够回答“为什么”类问题，从而支持信任与问责。
• 在真实世界和合成环境中评估因果归因的有效性，证明其优于传统特征重要性方法和基于梯度的方法。

提出的方法

• 该方法使用潜在结果框架估计模型输入对输出的因果效应，将每个输入视为‘处理’，模型输出视为‘结果’。
• 利用黑箱模型输入-输出响应的观测数据，通过逆概率加权和倾向得分匹配等方法估计平均因果效应。
• 该方法假设强可忽略性，即所有混杂因素均被观测到，且不存在影响输入和输出的未测量混杂因素。
• 采用多种技术估计因果效应以评估一致性；当不同方法的估计结果一致时，优先考虑可靠的归因。
• 该框架与模型无关，无需访问模型参数、架构或训练过程。
• 在从观测数据估计因果效应时，利用结构因果模型或背景知识识别并控制混杂因素。

实验结果

研究问题

• RQ1 与基于相关性的方法相比，因果归因能否为黑箱预测模型提供更可靠、更可信的解释？
• RQ2 在无法访问模型内部结构的情况下，如何仅从输入-输出观测估计单个特征对模型输出的因果效应？
• RQ3 在存在混杂因素的情况下，因果归因是否优于传统特征重要性或基于梯度的解释方法？
• RQ4 不同估计技术之间的因果归因一致性如何？不同方法间的一致性是否能提升解释的可信度？
• RQ5 所提出的因果归因框架能否有效应用于真实世界和合成数据集，包括深度神经网络？

主要发现

• 在已知真实因果关系的合成数据集中，因果归因框架成功识别出导致模型输出的真实输入特征。
• 在手写数字分类数据集中，该方法提供了与图像中已知显著特征一致的稳定且可解释的归因。
• 在帕金森病严重程度预测任务中，该方法识别出如语音和运动功能指标等临床相关特征，显示出在真实医疗应用中的相关性。
• 在存在混杂因素的情况下，该方法优于基于相关性的方法，表现为在多种估计技术下归因更准确、更稳定。
• 不同方法间因果效应估计的不一致，提示强可忽略性可能被违反，突显了在这些情况下应谨慎对待解释结果。
• 只要可观测到输入-输出行为，该框架可适用于任何黑箱模型，因此在机器学习应用中具有广泛的通用性。