[论文解读] DRLViz: Understanding Decisions and Memory in Deep Reinforcement Learning

Théo Jaunet, Romain Vuillemot+1 more|arXiv (Cornell University)|Sep 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 68被引用 36

一句话总结

DRLViz 是一个可视化分析界面，通过将内存时间线、动作、输入和派生指标可视化来解释 DRL 智能体的内部记忆，在 ViZDoom 导航任务中实现记忆简化与专家探询。

ABSTRACT

We present DRLViz, a visual analytics interface to interpret the internal memory of an agent (e.g. a robot) trained using deep reinforcement learning. This memory is composed of large temporal vectors updated when the agent moves in an environment and is not trivial to understand due to the number of dimensions, dependencies to past vectors, spatial/temporal correlations, and co-correlation between dimensions. It is often referred to as a black box as only inputs (images) and outputs (actions) are intelligible for humans. Using DRLViz, experts are assisted to interpret decisions using memory reduction interactions, and to investigate the role of parts of the memory when errors have been made (e.g. wrong direction). We report on DRLViz applied in the context of video games simulators (ViZDoom) for a navigation scenario with item gathering tasks. We also report on experts evaluation using DRLViz, and applicability of DRLViz to other scenarios and navigation problems beyond simulation games, as well as its contribution to black box models interpretability and explainability in the field of visual analytics.

研究动机与目标

• 解释 DRL 智能体的内部记忆以支持可解释性和事后分析。
• 提供交互式可视化，以浏览、过滤并简化用于决策分析的记忆。
• 将记忆动态与智能体的决策、输入和派生指标在时间和空间上关联。
• 通过领域专家验证方法并评估其在超越仿真的导航任务中的适用性。

提出的方法

• 使用基于 A2C 的 DRL 模型，输入为 RGB，记忆为 128 维的 GRU。
• 通过记录随时间的隐藏状态 h_t（时步）来构造记忆矩阵，形成二维热图记忆时间线。
• 暴露多种协同可视化（记忆时间线、二维轨迹图、时间步的 t-SNE、派生指标），以将记忆与决策关联。
• 通过重新排序标准（激活、变化、稳定、相似）以及选择记忆区间，提供记忆压缩/简化技术。
• 定义派生指标（如 FoV 中的健康状态、FoV 中的物品、方向变化、决策歧义）等，从仿真数据中派生以便与记忆进行情境对齐。
• 实现一个数据管道，输出逐集 epsiode 的 JSON 数据（图像、动作概率、记忆向量等），并使用 Flask+D3 的前端进行可视化。

实验结果

研究问题

• RQ1 专家如何解释 DRL 智能体潜在记忆与其决策之间的联系？
• RQ2 DRLViz 是否有助于识别哪些记忆元素在时间和空间上影响特定决策？
• RQ3 通过交互过滤和排序进行的记忆简化是否能揭示有意义的模式而不损害可解释性？
• RQ4 派生指标（如 FoV 中的物品、方向变化）与记忆激活或决策之间会出现哪些关系？

主要发现

• 专家能够利用记忆时间线和动作视图识别出智能体重复转向和死胡同的特定区间。
• 观测到一个隐藏状态维度与所见物品序列（如红色和绿色护甲）相关，并在后续步骤中仍然保持活跃。
• 用户在看到健康包初次出现时对保持活跃的记忆元素进行探查，并在收集过程中持续活跃。
• 显著性图帮助专家理解智能体忽略了哪些输入（如灵魂球，直到关键物品被收集）。
• 记忆中的 t-SNE 聚类揭示了与目标对齐的分组（如收集绿色护甲等策略），显示隐藏状态空间的有意义结构。
• 总体而言，DRLViz 展示了潜力来解释 DRL 的记忆，并提示其在 ViZDoom 以外的场景中的适用性。