[论文解读] Eliminating The Impossible, Whatever Remains Must Be True

Jinqiang Yu, Alexey Ignatiev+3 more|arXiv (Cornell University)|Jun 20, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出了一种用于黑箱机器学习模型的形式化解释方法，通过整合背景知识，生成更简洁的'为何'解释和更准确的'为何不'解释，方法是排除不可能的反例。通过利用规则归纳技术提取背景知识，并将其用于验证解释，该方法提升了可解释性和正确性，同时支持推理过程的可审计性。

ABSTRACT

The rise of AI methods to make predictions and decisions has led to a pressing need for more explainable artificial intelligence (XAI) methods. One common approach for XAI is to produce a post-hoc explanation, explaining why a black box ML model made a certain prediction. Formal approaches to post-hoc explanations provide succinct reasons for why a prediction was made, as well as why not another prediction was made. But these approaches assume that features are independent and uniformly distributed. While this means that "why" explanations are correct, they may be longer than required. It also means the "why not" explanations may be suspect as the counterexamples they rely on may not be meaningful. In this paper, we show how one can apply background knowledge to give more succinct "why" formal explanations, that are presumably easier to interpret by humans, and give more accurate "why not" explanations. In addition, we show how to use existing rule induction techniques to efficiently extract background information from a dataset, and also how to report which background information was used to make an explanation, allowing a human to examine it if they doubt the correctness of the explanation.

研究动机与目标

• 解决现有事后解释方法假设特征独立且均匀分布所带来的局限性，这可能导致解释过长或具有误导性。
• 通过整合特定领域的背景知识，提升'为何'解释的简洁性和可解释性。
• 通过背景知识排除不切实际的反例，提升'为何不'解释的准确性。
• 开发一种自动从数据集中提取背景知识的方法，利用规则归纳技术。
• 通过报告每条解释构建中实际使用的背景知识，使人类审计员能够验证解释。

提出的方法

• 将背景知识整合到形式化解释生成过程中，以过滤'为何不'解释中的不可能反例。
• 使用规则归纳技术，从训练数据中自动提取逻辑约束和领域规则。
• 应用形式逻辑推理，为模型预测生成最小且逻辑上正确的解释。
• 基于模型行为与背景知识的交集构建解释，确保仅考虑可行的替代方案。
• 在每条解释中报告所使用的具体背景规则，以支持透明度和可审计性。
• 采用基于SAT的推理，高效计算在模型和背景知识联合约束下的解释。

实验结果

研究问题

• RQ1 背景知识能否有效用于缩短'为何'解释的长度并提升其可解释性？
• RQ2 通过排除不切实际的反例，整合背景知识是否能带来更准确、更有意义的'为何不'解释？
• RQ3 如何从数据集中自动提取背景知识以支持解释生成？
• RQ4 背景知识的整合在多大程度上提升了形式化解释的可信度？
• RQ5 能否通过报告解释推导中实际使用的具体背景规则，使解释的来源透明化？

主要发现

• 通过排除冗余或不可能的条件，背景知识的整合显著缩短了'为何'解释的长度。
• 通过排除违反领域约束的反例，该方法生成了更准确的'为何不'解释，提升了其可信度。
• 规则归纳技术成功从数据集中提取出有意义的背景知识，进而用于提升解释质量。
• 由于明确报告了所用规则，使用背景知识生成的解释更具可解释性，也更易于人类验证。
• 该方法在保持形式正确性的同时，通过真实世界数据集的案例研究，证明了其在实际可用性方面的提升。
• 该方法在大规模模型和数据集上具有高效的可扩展性，支持在真实AI系统中实际部署形式化解释。