[论文解读] Framing Human-Robot Task Communication as a POMDP

Mark P. Woodward, Robert J. Wood|arXiv (Cornell University)|Apr 1, 2012

Robot Manipulation and Learning参考文献 22被引用 3

一句话总结

本文将人机任务通信建模为部分可观察马尔可夫决策过程（POMDP），其中机器人通过减少不确定性的动作，从非结构化信号中推断不可观测的任务细节和人类意图。该方法在用户实验中通过虚拟机器人和二元批准反馈验证，即使教师存在错误，也能实现鲁棒且智能的任务学习。

ABSTRACT

As general purpose robots become more capable, pre-programming of all tasks at the factory will become less practical. We would like for non-technical human owners to be able to communicate, through interaction with their robot, the details of a new task; we call this interaction "task communication". During task communication the robot must infer the details of the task from unstructured human signals and it must choose actions that facilitate this inference. In this paper we propose the use of a partially observable Markov decision process (POMDP) for representing the task communication problem; with the unobservable task details and unobservable intentions of the human teacher captured in the state, with all signals from the human represented as observations, and with the cost function chosen to penalize uncertainty. We work through an example representation of task communication as a POMDP, and present results from a user experiment on an interactive virtual robot, compared with a human controlled virtual robot, for a task involving a single object movement and binary approval input from the teacher. The results suggest that the proposed POMDP representation produces robots that are robust to teacher error, that can accurately infer task details, and that are perceived to be intelligent.

研究动机与目标

• 开发一种不依赖预编程任务执行的鲁棒、通用的人机任务通信框架。
• 使非技术用户能够通过自然、非结构化的互动教会机器人新任务。
• 将任务通信建模为POMDP，将任务细节和人类意图视为隐状态，人类信号视为观测。
• 设计主动减少任务推断不确定性的机器人动作，而非被动等待输入。
• 通过用户研究，对比基于POMDP的虚拟机器人与人工控制的虚拟机器人，对方法进行实证评估。

提出的方法

• 将任务通信表示为POMDP，其中任务细节和人类意图的隐藏随机变量为不可观测状态。
• 将人类信号（如空格键按下）建模为观测，用于更新机器人对任务状态的信念。
• 定义一个代价函数，对任务推断中的不确定性进行惩罚，以指导动作选择以实现信息增益。
• 通过贝叶斯推理进行信念更新，随时间维护对可能任务的概率分布。
• 使用POMDP求解器选择能最小化未来期望不确定性的动作，基于当前信念和观测模型。
• 整合人类行为模型以预测教师响应，优化通信效率。

实验结果

研究问题

• RQ1 POMDP框架能否有效建模任务细节和人类意图不可观测时的人机任务通信中的不确定性？
• RQ2 在任务推断准确性和对教师错误的鲁棒性方面，基于POMDP的机器人与人工控制的机器人相比如何？
• RQ3 能够减少不确定性的机器人动作是否能带来更高效且更被感知为智能的任务通信？
• RQ4 POMDP表示如何支持任务通信阶段与执行阶段之间的转换？
• RQ5 POMDP模型在多大程度上可扩展以处理复杂任务和更丰富的信号（如注视、手势）？

主要发现

• 基于POMDP的机器人对教师错误表现出鲁棒性，在反馈不一致时仍能保持准确的任务推断。
• 机器人在推断任务细节方面取得了高准确率，在用户实验中优于人工控制基线。
• 参与者认为基于POMDP的机器人比人工控制的替代方案更具智能性和能力。
• 机器人的动作选择策略通过选择信息量大的动作（如测试特定任务参数）有效减少了不确定性。
• 该框架自然支持未来扩展至复杂任务、更丰富的信号（如注视、手势）以及通过IPOMDP实现多智能体建模。
• 结果表明，在教学过程中，主动的、减少不确定性的通信比被动的任务执行更有效。