[论文解读] Machine Learning Interpretability: A Science rather than a tool

Abdul Karim, Avinash Mishra+2 more|arXiv (Cornell University)|Jul 18, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用 8

一句话总结

本文提出将机器学习可解释性视为一门以回答特定领域问题为核心的科学学科，而非依赖工具或模型。它提出一个三级框架——统计（关联性）、因果（干预性）和反事实（回溯性推理）——每一级均建立在前一级之上，以实现对机器学习决策的更深层次、更可靠的解释，推动可解释性从工程实践迈向科学体系。

ABSTRACT

The term "interpretability" is oftenly used by machine learning researchers each with their own intuitive understanding of it. There is no universal well agreed upon definition of interpretability in machine learning. As any type of science discipline is mainly driven by the set of formulated questions rather than by different tools in that discipline, e.g. astrophysics is the discipline that learns the composition of stars, not as the discipline that use the spectroscopes. Similarly, we propose that machine learning interpretability should be a discipline that answers specific questions related to interpretability. These questions can be of statistical, causal and counterfactual nature. Therefore, there is a need to look into the interpretability problem of machine learning in the context of questions that need to be addressed rather than different tools. We discuss about a hypothetical interpretability framework driven by a question based scientific approach rather than some specific machine learning model. Using a question based notion of interpretability, we can step towards understanding the science of machine learning rather than its engineering. This notion will also help us understanding any specific problem more in depth rather than relying solely on machine learning methods.

研究动机与目标

• 解决当前机器学习中可解释性缺乏统一定义的问题，该问题目前因研究者和上下文而异。
• 克服模型无关或事后可解释性工具的局限性，这些工具无法支持深层次的科学理解。
• 将可解释性确立为一种以特定领域问题为导向的科学，而非依赖特定算法或工具。
• 通过整合统计、因果和反事实推理，实现对医疗保健和药物发现等高风险领域更可靠、可信且可操作的洞察。
• 将关注点从模型性能本身，转向理解‘如何’和‘为何’做出决策，以支持公平性、偏见减少和安全性。

提出的方法

• 提出一种以问题为导向的可解释性框架，其中可解释性由其能够回答的问题类型定义，而非由工具或模型定义。
• 引入三个层级的可解释性：统计（关联性）、因果（干预性）和反事实（回溯性推理）。
• 使用统计建模识别从观测数据中得出的特征-输出关联和相关性。
• 对相关特征应用因果图模型（如贝叶斯网络），以回答干预类问题，例如“如果我们改变某个特征的值，会发生什么？”
• 在反事实层级使用结构方程模型，回答关于过去决策的“如果……会怎样”类问题，实现回溯分析和情景模拟。
• 构建该框架，使每一级为下一级提供支持：统计筛选为因果建模提供输入，因果建模又为反事实推理提供基础。

实验结果

研究问题

• RQ1 对于给定的分类决策，哪些特征最为重要，其取值范围在区分特定类别时有何区别？
• RQ2 改变某个特定特征的取值（尤其是训练数据中未观测到的值）会对模型输出产生何种影响？
• RQ3 如果过去某个案例中做出了不同的决策，结果会如何？这与公平性或因果关系有何关联？
• RQ4 可解释性如何超越相关性，建立特征与结果之间的因果关系？
• RQ5 在生物信息学和药物设计等领域能否通过可解释性支持科学发现？

主要发现

• 可解释性不应由工具或模型定义，而应由其所能支持的科学问题定义，尤其是涉及关联性、干预性和反事实推理的问题。
• 统计可解释性通过观测数据提供初步洞察，例如特征重要性与条件概率。
• 因果可解释性超越相关性，通过建模干预的影响，回答如“如果我们改变X，会发生什么？”等问题。
• 反事实可解释性支持回溯分析，例如“如果患者接受了不同的治疗，结果会如何？”
• 该分层框架使知识从统计关联流向因果解释，最终导向反事实推理，从而增强科学洞察力。
• 以问题为导向的方法支持在高风险领域实现更深层次的理解，提升模型可信度，并有助于检测偏见与安全问题。