[论文解读] Explaining Explanations to Society

Leilani H. Gilpin, Cecilia Testart+2 more|arXiv (Cornell University)|Jan 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 13

一句话总结

本文区分了'内部解释'——面向AI专家、聚焦模型的技术性解释——与'外部解释'——针对社会性'为何'问题（如问责制和因果关系）的清晰、可操作且可信的答案。文章指出，当前的XAI方法未能满足社会需求，特别是在自动驾驶和医疗保健等高风险领域，呼吁开发可被探查以回答'为何'问题的新型可解释AI系统，以确保透明度、可审计性和公众信任。

ABSTRACT

There is a disconnect between explanatory artificial intelligence (XAI) methods and the types of explanations that are useful for and demanded by society (policy makers, government officials, etc.) Questions that experts in artificial intelligence (AI) ask opaque systems provide inside explanations, focused on debugging, reliability, and validation. These are different from those that society will ask of these systems to build trust and confidence in their decisions. Although explanatory AI systems can answer many questions that experts desire, they often don't explain why they made decisions in a way that is precise (true to the model) and understandable to humans. These outside explanations can be used to build trust, comply with regulatory and policy changes, and act as external validation. In this paper, we focus on XAI methods for deep neural networks (DNNs) because of DNNs' use in decision-making and inherent opacity. We explore the types of questions that explanatory DNN systems can answer and discuss challenges in building explanatory systems that provide outside explanations for societal requirements and benefit.

研究动机与目标

• 识别当前XAI方法（主要用于技术调试与验证）与社会对回答AI决策中'为何'问题的需求之间的关键脱节。
• 在深度神经网络（DNNs）的背景下，定义并区分'内部解释'（技术性、以模型为中心）与'外部解释'（社会性、因果性、问责制导向）。
• 突出现有XAI技术在应对现实世界社会关切（如责任追究、公平性、安全事故调查）方面的局限性，特别是在安全关键系统中。
• 主张可解释AI必须超越可解释性，支持探查、反馈与可审计性，以建立公众信任并实现救济途径。
• 激励未来研究，设计不仅准确而且能被非专家用户、监管机构和政策制定者理解的DNN解释系统。

提出的方法

• 区分'内部解释'（聚焦模型内部，如注意力图、显著性或特征归因）与'外部解释'（聚焦因果推理、问责制与社会信任）。
• 扩展先前的解释分类体系，分析各类解释能够与不能够回答的问题类型，特别是针对'为何'问题的响应能力。
• 分析真实案例研究，如优步自动驾驶汽车事故和亚马逊招聘算法偏见，以说明当前解释系统在应对根本原因问责制方面的失败。
• 强调系统不仅需要可解释，还必须具备可审计性、可探查性，并能响应非专家用户与监管机构的反馈。
• 提出未来XAI系统必须支持细粒度的敏感性分析与因果推理，以检测模型行为与训练数据或现实世界期望之间的错位。
• 倡导XAI设计从以模型为中心的调试转向以用户为中心的解释，确保解释精确、真实且对非专家可理解。

实验结果

研究问题

• RQ1 社会与政策制定者在高风险领域中，实际上需要回答关于AI决策的哪些问题，特别是'为何'问题？
• RQ2 为何当前的XAI方法无法提供既技术准确又具有社会意义的解释？
• RQ3 如何设计深度神经网络的解释，使其能够回答现实事故中与因果性、问责制和可避免性相关的'为何'问题？
• RQ4 需要哪些技术与架构变革，才能使AI系统不仅在模型层面可解释，还能响应社会层面的质询？
• RQ5 如何使解释既真实可信（忠实于模型），又对非专家可理解，特别是在系统故障或偏见发生时？

主要发现

• 当前的XAI方法主要生成聚焦于模型内部的'内部解释'，如特征重要性或注意力图，这些解释不足以支撑社会信任与问责制。
• 社会利益相关方——包括监管机构、保险公司以及AI失败的受害者——需要'外部解释'，以回答'为何'问题，如'事故为何发生？'或'能否避免？'
• 在优步自动驾驶汽车事故中，根本原因是行人检测的误报，但缺乏清晰、可追溯的解释导致问责与调查延迟，凸显了可解释系统的需求。
• 亚马逊招聘算法因训练数据中的偏见而倾向于男性申请人，尽管准确率高，但其对有问题特征（如性别化语言）的依赖在未被探查前未被察觉，凸显了不透明、不可解释模型的风险。
• 即使高度准确的模型也可能基于虚假相关性（如使用扫描分辨率而非癌症存在）做出决策，而这些只有通过深入探查与因果分析才能被发现。
• 对AI的真正信任不仅需要解释，还需具备可审计性、反馈接受能力以及纠正决策的能力——而这些特性在当前大多数XAI系统中仍缺失。