[论文解读] Directions for Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen+2 more|arXiv (Cornell University)|Mar 17, 2020

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种可解释知识增强型AI系统的九类解释类型分类法，强调以用户为中心、上下文感知以及可追溯性的解释。通过整合神经符号推理、语义表示和分布式账本技术（DLT）等技术，提升AI解释中的信任度、可理解性与因果性，推动与用户需求和情境上下文相一致的混合系统发展。

ABSTRACT

Interest in the field of Explainable Artificial Intelligence has been growing for decades and has accelerated recently. As Artificial Intelligence models have become more complex, and often more opaque, with the incorporation of complex machine learning techniques, explainability has become more critical. Recently, researchers have been investigating and tackling explainability with a user-centric focus, looking for explanations to consider trustworthiness, comprehensibility, explicit provenance, and context-awareness. In this chapter, we leverage our survey of explanation literature in Artificial Intelligence and closely related fields and use these past efforts to generate a set of explanation types that we feel reflect the expanded needs of explanation for today's artificial intelligence applications. We define each type and provide an example question that would motivate the need for this style of explanation. We believe this set of explanation types will help future system designers in their generation and prioritization of requirements and further help generate explanations that are better aligned to users' and situational needs.

研究动机与目标

• 通过聚焦用户理解能力、上下文环境与信任度，应对复杂高风险领域中对可解释AI日益增长的需求。
• 识别当前仅依赖机制性或模型特异性推理的AI解释方法的局限性。
• 开发一个全面的、以用户为导向的解释框架，整合多种解释类型，以支持现实世界AI应用。
• 通过结合因果推理、语义建模与DLT等技术，推进混合AI系统的发展，以实现可追溯性与信任度。
• 为系统设计者提供一种结构化方法，依据用户需求与情境上下文选择并优先排序解释类型。

提出的方法

• 综合人工智能、认知科学与社会科学文献，提炼出九类解释类型的分类法，重点关注用户上下文与可理解性。
• 整合神经符号AI方法，将符号推理与机器学习可解释性相结合，实现因果性与透明化的解释。
• 利用语义表示来建模知识与解释结构，实现上下文感知与细粒度解释。
• 应用分布式账本技术（DLT）以确保AI决策的可追溯性、可验证性与信任度，尤其在去中心化或对抗性环境中。
• 通过健康信息学（HEALS项目）与自主系统（无人机、群体机器人）的案例研究，在真实场景中验证解释类型的适用性。
• 提出混合解释架构，整合多种解释类型（如因果、对比、反事实）以满足多样化用户需求与情境要求。

Figure 1 : A partial conceptual framework mapping explanation types capable of being generated by explainable AI methods to the reasoning employed by users [Image taken from Lim et al. [ 7 ] and Wang et al. [ 8 ] ]. For the full framework see Wang et al. [ 8 ] .

实验结果

研究问题

• RQ1 在复杂AI系统中，哪些类型的解释最能有效支持用户的理解、信任与决策？
• RQ2 如何设计解释系统，使其能够超越机制性模型追踪，适应用户上下文、偏好与情境需求？
• RQ3 神经符号AI与语义建模在提升解释的可解释性与连贯性方面有哪些作用？
• RQ4 分布式账本技术（DLT）如何增强AI决策的可追溯性与可信度，尤其是在去中心化或对抗性环境中？
• RQ5 在需要同时兼顾透明性与可用性的现实世界AI应用中，哪些解释类型的混合组合最为有效？

主要发现

• 本文识别并定义了九类不同的解释类型，如因果、对比、反事实与程序性解释，其设计针对不同用户需求与上下文环境。
• 当前AI系统即使提供模型层面的透明度，也常常无法为终端用户提供清晰或可操作的解释。
• 结合多种解释类型（如因果+反事实）的混合解释系统，在支持人机联合推理与决策方面更为有效。
• 分布式账本技术（DLT）可实现AI决策的可验证、不可篡改的可追溯性，显著增强在无人机与物联网系统等去中心化或高风险环境中的信任度。
• 对解释的语义表示可提升上下文感知能力，并支持根据用户档案与情境动态调整解释的形式与粒度。
• 神经符号方法弥合了黑箱模型行为与符号推理之间的鸿沟，使解释既具备可解释性，又能基于领域知识建立基础。

Figure 2 : A representation of Pearl’s cause-effect model [ 32 , 33 ] where $Q=P(Y|do(X))$ , where $X$ has an effect on $Y$ and both depend on Z. Hence, he formulated the overall problem as a Bayesian equation in that $E_{z}=\sum_{z}P(Y|X,Z)P(Z)$ . Pearl provides an intuitive example [ 32 ] of gende