[论文解读] Logic-Based Explainability in Machine Learning

João Marques‐Silva|arXiv (Cornell University)|Oct 24, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了基于逻辑的机器学习形式化可解释性方法，采用SAT、SMT和MILP求解器等自动化推理技术，提出严谨且逻辑上正确的解释。该工作建立了归纳解释与对比解释的形式化定义，分析了其计算复杂度，并为多种分类器提供了逻辑编码，实现了高风险机器学习应用中可证明正确且可解释的解释。

ABSTRACT

The last decade witnessed an ever-increasing stream of successes in Machine Learning (ML). These successes offer clear evidence that ML is bound to become pervasive in a wide range of practical uses, including many that directly affect humans. Unfortunately, the operation of the most successful ML models is incomprehensible for human decision makers. As a result, the use of ML models, especially in high-risk and safety-critical settings is not without concern. In recent years, there have been efforts on devising approaches for explaining ML models. Most of these efforts have focused on so-called model-agnostic approaches. However, all model-agnostic and related approaches offer no guarantees of rigor, hence being referred to as non-formal. For example, such non-formal explanations can be consistent with different predictions, which renders them useless in practice. This paper overviews the ongoing research efforts on computing rigorous model-based explanations of ML models; these being referred to as formal explanations. These efforts encompass a variety of topics, that include the actual definitions of explanations, the characterization of the complexity of computing explanations, the currently best logical encodings for reasoning about different ML models, and also how to make explanations interpretable for human decision makers, among others.

研究动机与目标

• 解决现有模型无关可解释性方法缺乏严谨性的问题，这些方法常产生逻辑不一致或不可靠的解释。
• 为机器学习模型开发形式化、基于逻辑的解释，确保其对人类决策者而言可证明正确且可解释。
• 刻画不同分类器族计算解释的计算复杂度，区分可 tractable 与不可 tractable 的情况。
• 通过确保解释在逻辑上一致且可验证，实现高风险和安全关键应用中的可信人工智能。
• 集成形式化方法（如自动化推理与证明助手），以认证解释和可解释性查询。

提出的方法

• 基于命题逻辑与一阶逻辑，定义基于归纳推理与对比推理框架的正式解释。
• 使用SAT、SMT与MILP求解器作为后端推理器，通过将分类器行为编码为逻辑公式，计算精确解释。
• 为多种模型（包括决策树、决策列表、神经网络与树集成模型）开发逻辑编码。
• 将可解释性查询（如解释成员资格、枚举）形式化为可通过自动化推理求解的逻辑决策问题。
• 通过将逻辑编码扩展至概率推理，引入概率解释，以在不确定性下提升可解释性。
• 采用具有形式化保证的代理模型来解释复杂模型，通过逻辑验证确保正确性。

实验结果

研究问题

• RQ1 如何为机器学习模型定义形式化、逻辑严谨的解释，以避免非形式化、模型无关方法的缺陷？
• RQ2 在不同分类器族中计算形式化解释的计算复杂度为何？哪些类别可实现高效求解？
• RQ3 如何通过形式化验证与证明助手确保解释的正确性与一致性？
• RQ4 输入约束与输入分布如何影响形式化解释的准确性与相关性？
• RQ5 能否在保持解释质量与一致性的形式化保证下，使用代理模型解释复杂模型？

主要发现

• 基于逻辑推理的形式化可解释性可提供逻辑一致且可证明正确的解释，避免了非形式化方法中常见的矛盾。
• 本文建立了全面的形式化解释框架，涵盖归纳解释、对比解释与全局解释，包含形式化定义与复杂度刻画。
• 对于决策树与单调分类器，计算解释是可 tractable 的，可通过逻辑编码实现高效解释生成。
• 使用SAT/SMT/MILP求解器可在多种模型（包括神经网络与树集成）上实现精确且可扩展的解释计算。
• 通过将逻辑编码扩展至概率推理，可形式化定义并计算概率解释，从而在不确定性下提升可解释性。
• 通过形式化方法（如证明助手）实现解释认证是可行且高风险应用中必不可少的，可确保实现正确性与可信度。