[论文解读] Explanation in Artificial Intelligence: Insights from the Social Sciences

Tim Miller|arXiv (Cornell University)|Jun 22, 2017

Explainable Artificial Intelligence (XAI)被引用 29

一句话总结

本文主张，可解释人工智能（XAI）应整合社会科学的洞见——尤其是哲学、认知心理学和社会心理学——以构建更有效、以人类为中心的解释。通过建模人类生成、选择和评估解释的过程，XAI系统可借助对比性、社会互动性以及因果基础的解释，提升信任度、相关性与可解释性。

ABSTRACT

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a `good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

研究动机与目标

• 通过提升解释质量，超越当前XAI中基于直觉的处理方式，应对可信AI系统日益增长的需求。
• 识别当前XAI研究中的关键局限，这些局限依赖于研究者的直觉而非基于证据的人类解释模型。
• 弥合XAI与社会科学之间的鸿沟，整合哲学、心理学与认知科学中关于解释生成、选择与评估的研究成果。
• 提出XAI系统应建模人类解释过程——尤其是对比性、社会互动性以及因果结构化的解释——以增强用户信任与理解。
• 强调纳入社会与认知因素（如意图性、规范、可控性与相关性）对提升解释有效性的重要性。

提出的方法

• 系统性回顾哲学、认知心理学与社会心理学中关于人类解释过程的基础文献。
• 将诸如溯因推理、因果归因、对比性解释与解释一致性等关键概念映射到XAI设计原则。
• 将解释选择偏见（如异常性、必要性、可控性）的研究发现整合到XAI模型开发中，以优先处理相关信息。
• 提出一种受人类交流中对话与论辩结构启发的对话式、交互式解释模型。
• 应用如Malle的社会归因概念模型与心智理论框架，以建模与人类期望一致的代理行为解释。
• 强调解释语境（包括用户目标、规范与信任水平）在塑造解释内容与结构中的作用。

实验结果

研究问题

• RQ1 人类在社会与认知语境中如何定义、生成与评估解释？这些过程如何为XAI提供启示？
• RQ2 为何对比性解释在人类推理与信任建立中比非对比性解释更有效？
• RQ3 认知偏见（如异常性、可控性与意图性）如何影响解释的选择与评估？
• RQ4 社会性与交互式解释模型在何种方式下可提升AI系统中的用户信任与理解？
• RQ5 XAI系统应如何设计，以避免解释信息稀释，同时保持因果连贯性与相关性？

主要发现

• 对比性解释——回答‘为何是这个而非那个？’——是人类解释的核心，应在XAI系统中居于中心地位。
• 解释选择本质上偏向于异常性、可控性与意图性等特征，XAI应建模这些特征以提升相关性。
• 人们依据一致性、简洁性与目标契合度来评估解释，而不仅基于真实性或概率，表明解释质量具有语境依赖性。
• 社会性与交互式解释（包括对话结构与隐含意义）显著提升用户在AI系统中的信任与理解。
• 解释并非中立：用户会通过解释者的意图来解读解释，因此透明化解释目的对避免感知偏见至关重要。
• 过于详尽的因果链条可能稀释关键信息；因此，解释必须具有选择性且情境敏感，方能保持有效性。