[论文解读] Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Black Box Simulators

Sarath Sreedharan, Utkarsh Soni+3 more|arXiv (Cornell University)|Feb 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 32被引用 7

一句话总结

本文提出一种方法，利用黑箱模拟器为序列决策型AI系统生成对比性、用户友好的解释。通过从模拟器交互中构建部分符号模型，使解释能够基于用户指定的概念进行，已在《蒙特祖玛的复仇》和《俄罗斯方块》上通过用户研究验证，显著提升了用户的理解力与信任度。

ABSTRACT

As increasingly complex AI systems are introduced into our daily lives, it becomes important for such systems to be capable of explaining the rationale for their decisions and allowing users to contest these decisions. A significant hurdle to allowing for such explanatory dialogue could be the vocabulary mismatch between the user and the AI system. This paper introduces methods for providing contrastive explanations in terms of user-specified concepts for sequential decision-making settings where the system's model of the task may be best represented as a blackbox simulator. We do this by building partial symbolic models of the task that can be leveraged to answer the user queries. We empirically test these methods on a popular Atari game (Montezuma's Revenge) and modified versions of Sokoban (a well known planning benchmark) and report the results of user studies to evaluate whether people find explanations generated in this form useful.

研究动机与目标

• 解决用户与AI系统在序列决策中术语不匹配的问题。
• 实现后见性对比性解释，且基于用户指定的概念。
• 开发一种从黑箱模拟器构建部分符号模型以生成解释的方法。
• 评估此类解释是否能提升用户对AI决策的理解与信任。
• 在Atari和Sokoban环境中通过用户研究实证检验该方法。

提出的方法

• 通过向黑箱模拟器输入多样化轨迹并提取状态-动作模式，构建部分符号模型。
• 通过用户提供术语识别用户指定的概念，并将其映射到模拟器中的观测状态特征。
• 通过比较成功与失败轨迹生成对比性解释，突出特定概念在决策结果中的作用。
• 对符号模型进行剪枝与抽象化，聚焦于相关概念，提升可解释性。
• 基于符号模型与模拟器日志，按需响应用户查询生成解释。
• 该方法利用模仿学习与概念挖掘，从模拟器行为中推断符号规则。

实验结果

研究问题

• RQ1 基于用户指定概念的对比性解释是否能提升用户对序列任务中AI决策的理解？
• RQ2 从黑箱模拟器中提取的部分符号模型生成的解释有多有效？
• RQ3 与黑箱输出相比，用户是否认为此类解释更具可信度且更易于质疑？
• RQ4 不同概念表示方式如何影响解释的质量与清晰度？
• RQ5 解释质量对用户在人机交互AI系统中的表现与决策有何影响？

主要发现

• 用户认为基于自身概念的对比性解释显著优于基线解释。
• 该方法成功生成了突出关键决策因素（如物体距离与动作序列）的解释，适用于《蒙特祖玛的复仇》和《俄罗斯方块》。
• 用户研究表明，当解释引用用户熟悉的自定义概念时，用户对AI决策的理解明显提升。
• 部分符号模型在无需完全透明化模型的情况下，实现了准确且简洁的解释。
• 当提供基于用户自身概念语言的对比性解释时，用户更可能质疑或优化AI决策。
• 该方法在复杂、长时程决策任务中表现出良好的可扩展性与有效性，适用于黑箱模拟器。