[论文解读] Inherently Explainable Reinforcement Learning in Natural Language

Xiangyu Peng, Mark Riedl+1 more|arXiv (Cornell University)|Dec 16, 2021

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文提出了 HEX-RL，一种用于文本游戏的内在可解释强化学习智能体，其利用符号知识图谱（KG）和分层图注意力机制，生成即时的、逐步的自然语言解释，以及事后生成的、时间上延展的长期依赖解释。该智能体在任务性能上达到最先进水平，同时在人类评估者（对环境不熟悉）的评分中，解释质量显著优于基线模型。

ABSTRACT

We focus on the task of creating a reinforcement learning agent that is inherently explainable -- with the ability to produce immediate local explanations by thinking out loud while performing a task and analyzing entire trajectories post-hoc to produce causal explanations. This Hierarchically Explainable Reinforcement Learning agent (HEX-RL), operates in Interactive Fictions, text-based game environments in which an agent perceives and acts upon the world using textual natural language. These games are usually structured as puzzles or quests with long-term dependencies in which an agent must complete a sequence of actions to succeed -- providing ideal environments in which to test an agent's ability to explain its actions. Our agent is designed to treat explainability as a first-class citizen, using an extracted symbolic knowledge graph-based state representation coupled with a Hierarchical Graph Attention mechanism that points to the facts in the internal graph representation that most influenced the choice of actions. Experiments show that this agent provides significantly improved explanations over strong baselines, as rated by human participants generally unfamiliar with the environment, while also matching state-of-the-art task performance.

研究动机与目标

• 开发一种内在可解释的强化学习智能体，能够在任务执行期间和之后生成即时的、逐步的自然语言解释。
• 解决在部分可观测、基于语言的环境（如文本游戏）中解释长时程决策的挑战。
• 将符号知识图谱状态表示与深度强化学习相结合，以实现人类可理解的推理与解释生成。
• 使用对领域不熟悉的领域外人类标注者评估解释质量，确保解释直观且可信。
• 在显著提升解释质量的同时，保持最先进水平的任务性能，相较于强基线模型。

提出的方法

• 智能体维护一个动态的、符号化的知识图谱（KG），用于编码世界状态，包括物体、位置、玩家背包及关系，并在探索过程中持续更新。
• 对 KG 应用分层图注意力机制，以识别在动作选择中最具影响力的子图，从而实现即时的、局部的解释。
• 对于时间上延展的解释，智能体执行事后轨迹分析，识别出对实现长期依赖至关重要的中间状态和动作。
• 使用带有分层注意力头的图注意力网络（GAT）对 KG 进行编码，注意力头聚焦于不同语义子图（例如，房间中的物体、玩家背包、位置）。
• 通过将动作选择基于 KG 中的具体事实，并利用注意力权重突出相关证据，生成解释。
• 在互动小说环境（如 zork1）中评估该框架，使用 Jericho 框架实现智能体与环境的交互。

实验结果

研究问题

• RQ1 强化学习智能体能否生成准确且对人类可理解的即时、逐步自然语言解释？
• RQ2 同一智能体能否生成捕捉长期依赖关系的、时间上延展的解释，以支持任务完成？
• RQ3 与黑箱注意力机制相比，将符号知识图谱与分层注意力机制结合是否能提升解释质量？
• RQ4 这种内在可解释的智能体能否在复杂文本游戏环境中保持最先进水平的性能？
• RQ5 人类评估者是否认为该智能体生成的解释显著优于强基线模型的解释？

主要发现

• 对游戏环境不熟悉的参与者认为 HEX-RL 生成的解释显著优于强基线模型的解释，理解度更高。
• 该智能体在 zork1 等文本游戏上实现了最先进水平的任务性能，与先前基于知识图谱的智能体相当或更优。
• 分层图注意力机制成功识别出影响动作选择的知识图谱相关子图，从而实现精确、局部的解释。
• 事后轨迹分析使生成时间上延展的解释成为可能，能够浓缩关键中间步骤，突出如“提前捡起灯以备后续使用”等依赖关系。
• 使用符号化、人类可读的 KG 作为内部状态表示，使解释生成既忠实又可解释，且未牺牲策略性能。
• 评估结果表明，可解释性可从架构设计之初就内建于智能体中，而非作为事后附加层，从而产生更可靠、更可信的解释。