[论文解读] Balancing Explicability and Explanation in Human-Aware Planning

Tathagata Chakraborti, Sarath Sreedharan+1 more|arXiv (Cornell University)|Aug 1, 2017

AI-based Problem Solving and Planning参考文献 30被引用 16

一句话总结

本文提出 MEGA，一种模型空间搜索方法，通过在机器人模型中的计划最优性与人类心智模型的一致性之间优化权衡，实现人类意识规划中的可解释性与解释生成之间的平衡。该方法使智能体能够生成对人类可解释且解释成本最低的计划，通过人机协同实验展示了计划成本、解释长度与用户行为之间的权衡。

ABSTRACT

Human aware planning requires an agent to be aware of the intentions, capabilities and mental model of the human in the loop during its decision process. This can involve generating plans that are explicable to a human observer as well as the ability to provide explanations when such plans cannot be generated. This has led to the notion "multi-model planning" which aim to incorporate effects of human expectation in the deliberative process of a planner - either in the form of explicable task planning or explanations produced thereof. In this paper, we bring these two concepts together and show how a planner can account for both these needs and achieve a trade-off during the plan generation process itself by means of a model-space search method MEGA. This in effect provides a comprehensive perspective of what it means for a decision making agent to be "human-aware" by bringing together existing principles of planning under the umbrella of a single plan generation process. We situate our discussion specifically keeping in mind the recent work on explicable planning and explanation generation, and illustrate these concepts in modified versions of two well known planning domains, as well as a demonstration on a robot involved in a typical search and reconnaissance task with an external supervisor.

研究动机与目标

• 解决在人类意识规划中平衡计划可解释性与解释生成的挑战，其中机器人最优计划可能因模型不匹配而对人类难以理解。
• 开发一个统一框架，将可解释性与解释整合到单一的计划生成过程中，避免对两者进行单独处理。
• 在尽量减少计划偏离机器人最优性的同时，降低人类用户在解释上的认知负担。
• 通过真实世界人机交互场景中的实证评估，研究计划成本、解释长度与用户行为模式之间的权衡。

提出的方法

• 提出 MEGA（用于生成替代方案的模型空间探索），一种基于搜索的方法，通过探索人类心智模型的空间，寻找在机器人模型中具有最优性且与人类期望对齐的计划。
• 使用加权目标函数，结合机器人模型中的计划成本与向人类解释该计划的成本，其中超参数 α 控制两者之间的权衡。
• 采用模型调和技术更新人类的模型，使机器人的原始计划在更新后的模型中成为最优，从而将解释作为模型调和来实现。
• 应用最小化解释技术以减少通信开销，确保解释简洁且聚焦于关键差异点。
• 通过机器人在搜索与侦察任务中的人机协同实验，评估计划质量、解释请求与用户行为。
• 根据用户响应模式（如解释请求的点击率）校准权衡参数 α，以适应个体用户偏好。

实验结果

研究问题

• RQ1 当机器人与人类的模型存在差异时，智能体如何在生成可解释计划的成本与提供解释的成本之间取得平衡？
• RQ2 计划成本与解释长度对人机交互中人类感知与用户行为有何影响？
• RQ3 用户对不可解释计划的反应如何？用户响应模式能否用于自适应调优可解释性与解释之间的权衡？
• RQ4 模型调和是否能有效减少对解释的需求，通过使人类的模型与机器人的模型对齐？

主要发现

• 随着计划从最优向可解释转变，机器人的计划成本上升，表明最优性与可解释性之间存在明确的权衡。
• 约三分之一的参与者即使在计划可解释的情况下仍请求解释，表明存在风险规避行为模式，并对用户造成认知负担。
• 用户对解释请求的响应呈现双峰分布，暗示存在两类用户——一些高度风险规避，另一些则不那么规避——凸显了个性化 α 调优的必要性。
• 该方法成功减少了解释长度，同时保持了计划质量，表明最小化解释在降低通信开销方面是有效的。
• 人因因素研究证实，所提方法可提升用户信任并减少困惑，尤其在计划既可解释又解释成本最低时效果更明显。
• 结果支持基于实时用户反馈对可解释性-解释权衡参数 α 进行自适应、用户特定的校准。