[论文解读] Distal Explanations for Model-free Explainable Reinforcement Learning

Prashan Madumal, Tim Miller+2 more|arXiv (Cornell University)|Jan 28, 2020

Explainable Artificial Intelligence (XAI)参考文献 44被引用 6

一句话总结

本文提出了一种用于无模型强化学习智能体的远端解释模型，通过使用决策树和因果模型学习机会链（A促成B，B导致C），生成'为什么'和'为什么不是'的解释。该模型在任务预测和反事实准确性方面表现更优，在三个场景下对90名参与者进行的人工评估中优于两个基线模型。

ABSTRACT

In this paper we introduce and evaluate a distal explanation model for model-free reinforcement learning agents that can generate explanations for `why' and `why not' questions. Our starting point is the observation that causal models can generate opportunity chains that take the form of `A enables B and B causes C'. Using insights from an analysis of 240 explanations generated in a human-agent experiment, we define a distal explanation model that can analyse counterfactuals and opportunity chains using decision trees and causal models. A recurrent neural network is employed to learn opportunity chains, and decision trees are used to improve the accuracy of task prediction and the generated counterfactuals. We computationally evaluate the model in 6 reinforcement learning benchmarks using different reinforcement learning algorithms. From a study with 90 human participants, we show that our distal explanation model results in improved outcomes over three scenarios compared with two baseline explanation models.

研究动机与目标

• 开发一种强化学习智能体的解释模型，支持基于因果推理的'为什么'和'为什么不是'问题。
• 通过在解释中引入未来依赖动作（远端动作），解决现有动作影响模型的局限性。
• 通过分析在人机协作研究中生成的240条人类解释，将解释模型建立在人类认知模式之上。
• 通过整合决策树和因果链，提升任务预测准确性和解释质量。
• 在六个强化学习基准和三个自定义《星际争霸II》场景的人工研究中评估该模型。

提出的方法

• 该模型使用循环神经网络从智能体行为中学习机会链，捕捉动作之间的因果依赖关系。
• 训练决策树以表示智能体的策略，并通过建模动作依赖关系提升任务预测准确率。
• 从动作影响图中推导出因果模型，用于提取和验证机会链（A促成B，B导致C）。
• 通过修改当前动作并追踪机会链中的相应变化，生成反事实解释。
• 将决策树预测与因果链相结合，以优化解释质量和任务预测性能。
• 通过90名参与者的实验研究，在三个自定义《星际争霸II》场景中评估解释质量和任务预测表现。

实验结果

研究问题

• RQ1 人类在协作式强化学习环境中如何自然地解释智能体行为？
• RQ2 人类解释在多大程度上依赖于未来依赖动作（远端动作）而非即时动作？
• RQ3 一种学习机会链（A促成B，B导致C）的模型是否能提升强化学习中的任务预测准确性和解释质量？
• RQ4 在人工评估中，远端解释模型与基于动作和状态-动作的基线模型相比表现如何？
• RQ5 先验领域知识（如游戏经验）对人类理解智能体解释的影响是什么？

主要发现

• 人机协作研究显示，240条人类生成的解释频繁提及当前动作所依赖的未来动作，证实了机会链的存在。
• 在人工研究中，远端解释模型在任务预测准确率和解释质量方面显著优于两个基线模型。
• 参与者认为远端解释更具直观性和信息量，尤其在复杂的协作场景中表现更优。
• 《星际争霸II》游戏经验与任务预测得分之间无显著相关性（p = 0.133），表明该模型的有效性不依赖于特定领域的游戏知识。
• 该模型的性能对底层因果图的正确性敏感，凸显了在领域中准确因果结构的重要性。
• 该模型表明，聚焦于促成关系和因果关系的远端解释能带来更优的人机协作结果。