[论文解读] Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations

Kin-Ho Lam, Zhengxian Lin+6 more|arXiv (Cornell University)|Sep 28, 2021

Explainable Artificial Intelligence (XAI)参考文献 11被引用 4

一句话总结

本文提出使用基于树的解释方法，通过允许人类专家检查搜索树中的单个决策步骤，来识别基于规划的深度强化学习智能体中的推理缺陷。该方法成功使AI专家检测到一个《领土之战》（ToW）游戏智能体在学习模型中存在非显而易见的缺陷，包括对基地生命值增长的误判以及有缺陷的动作评估，证明了微观层面分析在改进复杂强化学习系统方面的有效性。

ABSTRACT

Enabling humans to identify potential flaws in an agent's decision making is an important Explainable AI application. We consider identifying such flaws in a planning-based deep reinforcement learning (RL) agent for a complex real-time strategy game. In particular, the agent makes decisions via tree search using a learned model and evaluation function over interpretable states and actions. This gives the potential for humans to identify flaws at the level of reasoning steps in the tree, even if the entire reasoning process is too complex to understand. However, it is unclear whether humans will be able to identify such flaws due to the size and complexity of trees. We describe a user interface and case study, where a small group of AI experts and developers attempt to identify reasoning flaws due to inaccurate agent learning. Overall, the interface allowed the group to identify a number of significant flaws of varying types, demonstrating the promise of this approach.

研究动机与目标

• 使人类专家能够识别高性能基于规划的强化学习智能体中从整体行为无法察觉的推理缺陷。
• 探究基于树的解释（将决策分解为可解释的步骤）是否能在搜索树复杂性较高的情况下，有效支持缺陷检测。
• 评估人工引导检查树状推理结构在复杂环境中调试强化学习智能体的可行性和有效性。
• 探索如何将人类识别出的缺陷模式泛化，并通过基于人类识别模式生成的脚本，在大规模范围内自动检测缺陷。
• 为设计支持高效、有针对性地审查智能体决策过程的解释界面提供建议。

提出的方法

• 设计一个可视化界面，用于在游戏回放过程中导航基于规划的强化学习智能体生成的状态-动作树。
• 利用对抽象游戏状态的模型学习和评估函数，构建表示智能体推理过程的搜索树。
• 通过结构化可视化突出显示关键推理步骤：动作预测、叶节点值估计和剪枝决策。
• 通过启发式方法优先定位可能的缺陷区域，引导专家进行系统性审查，重点关注高影响的决策点。
• 基于人类识别出的缺陷模式，创建领域特定的脚本，以在多个游戏回放中自动检测类似缺陷。
• 通过与AI专家和开发人员合作的案例研究，验证该界面的实用性，分析失败游戏回放中的决策树。

实验结果

研究问题

• RQ1 人类专家是否能够通过检查搜索树中的单个步骤，有效识别出基于规划的强化学习智能体中的推理缺陷，即使整体策略表现良好？
• RQ2 在解释界面中，哪些设计特征最有助于专家定位并诊断复杂决策树中的缺陷？
• RQ3 人类识别出的缺陷模式在多大程度上可以被泛化，并通过脚本在多个游戏会话中自动检测？
• RQ4 智能体内部模型中的缺陷（如错误的状态转移或值估计）在基于树的推理中如何表现？是否可通过检查将其隔离？
• RQ5 哪些策略可引导专家高效聚焦于树中最具潜力的缺陷检测区域？

主要发现

• AI专家利用树形解释界面成功识别出智能体决策过程中多个非显而易见的推理缺陷，包括对基地生命值增长的误判。
• 团队发现，在6场失败对局中的4场，智能体错误预测基地生命值会上升——某些情况下增幅超过10%，导致战略决策失误。
• 这些缺陷通常可用简单、通用的术语描述（例如，错误预测基地生命值增长），从而可生成自动化脚本以大规模检测类似缺陷。
• 开发了一项脚本，用于在6场失败对局中搜索生命值误判模式，结果在40%的决策点（发生在失败前）中确认了该模式的存在，凸显了系统性模型错误。
• 该界面使专家能够检测到从最终动作选择中无法察觉的缺陷，证明了对推理步骤进行微观层面分析的价值。
• 本研究表明，结合人类洞察、结构化树形检查以及基于脚本的自动化验证，可高效识别并优先处理强化学习智能体中的关键缺陷。