[论文解读] Machine Reasoning Explainability

Kristijonas Čyras, Ramamurthy Badrinath+6 more|arXiv (Cornell University)|Sep 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 246被引用 4

一句话总结

本文提供了对机器推理（MR）中可解释性技术的全面、有选择性的综述，重点强调了论证、逻辑编程、约束编程和自动定理证明等符号方法。它突出了数十年来在机器推理可解释性方面的研究——特别是基于推理的解释、溯因推理和策略性证明——并将其定位为现代可解释人工智能（XAI）的基础，为提升人工智能系统的透明度和可信度提供了洞见。

ABSTRACT

As a field of AI, Machine Reasoning (MR) uses largely symbolic means to formalize and emulate abstract reasoning. Studies in early MR have notably started inquiries into Explainable AI (XAI) -- arguably one of the biggest concerns today for the AI community. Work on explainable MR as well as on MR approaches to explainability in other areas of AI has continued ever since. It is especially potent in modern MR branches, such as argumentation, constraint and logic programming, planning. We hereby aim to provide a selective overview of MR explainability techniques and studies in hopes that insights from this long track of research will complement well the current XAI landscape. This document reports our work in-progress on MR explainability.

研究动机与目标

• 综合并 contextualize 机器推理（MR）领域过去四十年可解释性研究的成果，该领域是符号人工智能的一个子领域。
• 通过突出MR中成熟且符号化的技术，弥补当前可解释人工智能（XAI）研究中的空白，这些技术在现代XAI中仍被低估和未被充分利用。
• 展示基于MR的可解释性——尤其是基于推理的、溯因的和论证性的解释——如何增强人工智能系统的透明度、正当性以及用户信任。
• 提供对逻辑编程、约束编程和自动定理证明等关键MR子领域中可解释性技术的结构化概述。
• 倡导将符号化MR可解释性方法整合到更广泛的XAI框架中，以提升系统正当性、批判性思维和人工智能代理之间的协作。

提出的方法

• 根据人机交互和认知科学原理，将解释分类为属性型、对比型和可操作型。
• 利用公理定位、合取词和溯因等技术，分析基于推理的解释，以追踪符号系统中的推理步骤。
• 回顾逻辑编程方法，包括溯因逻辑编程（ALP）、归纳逻辑编程（ILP）和答案集编程（ASP），用于生成解释。
• 研究约束编程（CP）技术，如SAT求解和通用CP，用于解释约束满足和优化决策。
• 研究自动定理证明（ATP）和证明助手，用于生成形式化、可验证的逻辑推导解释。
• 探索论证框架，通过结构化对话、正当性和批判性思维生成可解释的决策，尤其在多智能体系统中。

实验结果

研究问题

• RQ1 在过去的四十年中，机器推理中的符号化和基于逻辑的方法如何为可解释性做出贡献？
• RQ2 在MR中，追踪型、策略型和深层解释之间的关键区别是什么？它们如何支持用户理解与信任？
• RQ3 溯因推理、论证和约束求解在哪些方面可用于生成AI系统中的可操作型和对比型解释？
• RQ4 现代符号人工智能技术，如ASP、ALP和ATP，在自主智能体和多智能体系统中的可解释决策中发挥什么作用？
• RQ5 MR中的符号可解释性在解决当前XAI的局限性方面，特别是在正当性、批判性和协作方面，扮演何种角色？

主要发现

• 机器推理长期以来为可解释性做出贡献，其基础性工作可追溯至1970年代，特别是在从追踪型解释演进为策略型和深层解释的专家系统中。
• 公理定位、溯因推理和合取词分析能够精确识别得出某一结论所必需的最小知识集，从而增强正当性和可审计性。
• 论证框架为生成对比型和可操作型解释提供了稳健机制，尤其在多智能体系统中，决策必须通过对话和批判性思维来正当化。
• 约束编程和SAT求解技术使得在优化和配置任务中实现可解释推理成为可能，其解释源自证明追踪和不可满足核心。
• 自动定理证明和证明助手能够生成可验证的形式化解释，支持符号推理中的正确性和透明度。
• 符号方法如答案集编程（ASP）和归纳逻辑编程（ILP）能够实现可解释的知识获取与推理，尤其在如网络切片和规划等复杂结构化领域中表现突出。