[论文解读] Counterfactual States for Atari Agents via Generative Deep Learning

Matthew Olson, Lawrence Neal+2 more|arXiv (Cornell University)|Sep 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 17被引用 17

一句话总结

本文提出了一种生成式深度学习方法，用于生成反事实状态——即对雅达利游戏状态进行最小的视觉改动，使训练好的深度强化学习智能体选择不同的动作。通过使用Wasserstein自编码器和潜在空间优化，该方法生成了逼真的反事实状态，显著提升了非专家用户对智能体决策过程的理解，如30名参与者参与的用户研究所示。

ABSTRACT

Although deep reinforcement learning agents have produced impressive results in many domains, their decision making is difficult to explain to humans. To address this problem, past work has mainly focused on explaining why an action was chosen in a given state. A different type of explanation that is useful is a counterfactual, which deals with "what if?" scenarios. In this work, we introduce the concept of a counterfactual state to help humans gain a better understanding of what would need to change (minimally) in an Atari game image for the agent to choose a different action. We introduce a novel method to create counterfactual states from a generative deep learning architecture. In addition, we evaluate the effectiveness of counterfactual states on human participants who are not machine learning experts. Our user study results suggest that our generated counterfactual states are useful in helping non-expert participants gain a better understanding of an agent's decision making process.

研究动机与目标

• 开发一种生成反事实状态的方法，展示对雅达利游戏状态的最小视觉改动如何导致智能体选择不同动作。
• 通过提供直观的“如果……会怎样？”解释，提升深度强化学习智能体的可解释性。
• 通过非专家参与者的用户研究，评估生成的反事实状态的逼真度和实用性。
• 探索在视觉强化学习环境中，通过潜在空间操作生成忠实且有意义的反事实解释的可行性。
• 为终端用户提供一种工具，用于在回放过程中检查和验证智能体行为，从而增强信任感和接受度。

提出的方法

• 训练一个Wasserstein自编码器（WAE），以建模从预训练DQN智能体中提取的内部状态表征（潜在码）的分布。
• 通过在潜在空间中进行优化，生成反事实状态，以最小化原始潜在码与目标潜在码之间的L2距离，同时确保智能体策略选择不同的动作。
• 使用条件生成网络将优化后的潜在码解码回图像空间，生成最终的反事实状态。
• 该方法利用潜在空间中的基于梯度的优化，确保对原始状态的改动最小且逼真。
• 通过启发式方法从游戏回放中选择关键帧，优先选择高熵状态用于反事实分析。
• 进行消融研究并与真实游戏帧进行比较，以评估逼真度和有效性。

实验结果

研究问题

• RQ1 能否通过深度生成建模生成反事实状态，以解释强化学习智能体在视觉环境中为何选择特定动作？
• RQ2 与真实游戏帧相比，非专家用户对生成的反事实状态的逼真度评价如何？
• RQ3 反事实状态在多大程度上提升了非专家用户对智能体决策过程的理解？
• RQ4 生成的反事实状态中存在哪些主要伪影或局限性，它们如何影响可解释性？
• RQ5 与区域填充或补丁替换等替代方法相比，该方法在生成有意义的反事实状态方面表现如何？

主要发现

• 生成反事实状态的平均逼真度评分为4.00（满分6分），与真实游戏帧相比无统计学显著差异（p = 0.458），表明其具有较强的感知逼真度。
• 30名参与者中有15名报告在观看反事实状态后对智能体决策过程的理解有所提升，单侧Wilcoxon符号秩检验的p值为0.098。
• 该方法成功生成了仅需最小视觉改动即可改变智能体动作的反事实状态，证明了对智能体内部表征空间的有效操控。
• 观察到诸如模糊和小物体（如《太空入侵者》中的子弹）消失等伪影，但这些伪影并未严重阻碍用户理解。
• 用户研究表明，引导式面对面教程对帮助非专家理解反事实解释这一陌生概念至关重要。
• 该方法优于区域填充或补丁替换等替代方法，后者因违反游戏规则和视觉一致性而生成了不真实的反事实状态。