[论文解读] Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning

Mehrdad Zakershahrak, Samira Ghodratnama|arXiv (Cornell University)|Dec 21, 2020

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种分层强化学习（H-RL）框架，用于在人机协作中生成适应人类认知负荷的解释，通过将详细计划抽象为多层级解释来实现。通过将解释生成建模为基于目标的马尔可夫决策过程，该方法学习人类对信息层级的偏好，在匹配人类响应方面达到94.4%的准确率，同时相比基线方法降低了心理负荷和解释时间。

ABSTRACT

Providing explanations is considered an imperative ability for an AI agent in a human-robot teaming framework. The right explanation provides the rationale behind an AI agent's decision-making. However, to maintain the human teammate's cognitive demand to comprehend the provided explanations, prior works have focused on providing explanations in a specific order or intertwining the explanation generation with plan execution. Moreover, these approaches do not consider the degree of details required to share throughout the provided explanations. In this work, we argue that the agent-generated explanations, especially the complex ones, should be abstracted to be aligned with the level of details the human teammate desires to maintain the recipient's cognitive load. Therefore, learning a hierarchical explanations model is a challenging task. Moreover, the agent needs to follow a consistent high-level policy to transfer the learned teammate preferences to a new scenario while lower-level detailed plans are different. Our evaluation confirmed the process of understanding an explanation, especially a complex and detailed explanation, is hierarchical. The human preference that reflected this aspect corresponded exactly to creating and employing abstraction for knowledge assimilation hidden deeper in our cognitive process. We showed that hierarchical explanations achieved better task performance and behavior interpretability while reduced cognitive load. These results shed light on designing explainable agents utilizing reinforcement learning and planning across various domains.

研究动机与目标

• 为解决在人机协作复杂规划任务中维持人类认知负荷的挑战。
• 对解释中的信息层级人类偏好进行建模，认识到并非所有细节在任何时候都同等重要。
• 开发一种可泛化的分层解释生成框架，平衡细节抽象与可解释性。
• 通过强化学习学习最优解释序列，降低人类队友的心理和时间负荷。
• 通过使解释结构与人类认知处理方式对齐，提升任务表现和行为可解释性。

提出的方法

• 该框架将解释生成建模为基于目标的马尔可夫决策过程（MDP），其中状态表示计划细节的抽象层级。
• 使用强化学习学习一种策略，根据人类反馈轨迹选择下一步解释。
• 该方法采用分层抽象，先生成高层级解释，随后逐步生成更详细的子解释。
• 该方法将解释生成与计划执行相结合，通过渐进式信息披露减少信息过载。
• 采用确定性策略以减少搜索空间并提高解释生成的推理效率。
• 该模型在人机交互轨迹上进行训练，以学习解释顺序和细节层级的偏好。

实验结果

研究问题

• RQ1 人类在复杂规划任务中是否对解释细节的分层排序表现出一致的偏好？
• RQ2 强化学习能否有效建模人机协作中人类对解释抽象层级的偏好？
• RQ3 与平面化或非分层渐进式方法相比，分层解释生成是否能降低人类认知负荷？
• RQ4 所学习的解释策略能否在新场景中泛化，同时保持高任务表现和可解释性？
• RQ5 与现有方法相比，该分层解释框架在解释准确率、时间及负荷方面表现如何？

主要发现

• H-RL框架在10个寻宝任务场景中，对人类响应的匹配准确率达到94.4%，显著优于OEG（86.6%）和PEG（77.5%）。
• H-RL每场景平均解释动作数为3.17次，显著低于OEG（9.3次）和PEG（9.0次），表明认知负担更低。
• 主观负荷测量（TLX）显示，H-RL的心理负荷和时间负荷最低，与OEG和PEG相比具有统计学显著差异（p < 0.05）。
• H-RL的解释生成时间平均为每场景25.37秒，显著低于OEG（43.3秒）和PEG（35.9秒）。
• 结果证实，解释中的抽象比完整或渐进式细节披露更有效，尽管PEG采用渐进式传递，但其表现仍劣于H-RL。
• 本研究验证了解释生成是一种分层认知过程，建模该层级结构可同时提升可解释性和任务表现。