[论文解读] Mathematical Models of Adaptation in Human-Robot Collaboration

Stefanos Nikolaidis, Jodi Forlizzi+3 more|arXiv (Cornell University)|Jul 9, 2017

Robot Manipulation and Learning参考文献 14被引用 20

一句话总结

本文提出了一种基于博弈论的人机协作框架，通过概率规划建模相互适应，使机器人能够推断人类偏好并调整自身行为，同时考虑人类对机器人的适应。关键贡献在于一种形式化方法，通过在多样化场景中实时交互时联合优化机器人与人类的适应性，从而提升团队表现与信任度。

ABSTRACT

A robot operating in isolation needs to reason over the uncertainty in its model of the world and adapt its own actions to account for this uncertainty. Similarly, a robot interacting with people needs to reason over its uncertainty over the human internal state, as well as over how this state may change, as humans adapt to the robot. This paper summarizes our own work in this area, which depicts the different ways that probabilistic planning and game-theoretic algorithms can enable such reasoning in robotic systems that collaborate with people. We start with a general formulation of the problem as a two-player game with incomplete information. We then articulate the different assumptions within this general formulation, and we explain how these lead to exciting and diverse robot behaviors in real-time interactions with actual human subjects, in a variety of manufacturing, personal robotics and assistive care settings.

研究动机与目标

• 使机器人能够在实时协作中推理人类内在状态（如目标、偏好与适应性）的不确定性。
• 开发计算上可行的模型，使机器人能够根据人类行为与意图的动态变化调整自身行为。
• 通过建模相互适应（即机器人与人类均根据对方调整策略），提升人机团队的整体表现。
• 将可扩展的行为模型与机器学习方法整合到规划算法中，实现在制造、辅助护理与社交导航等现实场景中的部署。
• 通过使机器人引导用户实现更优任务执行，同时不损害用户自主性，实现性能与用户信任之间的平衡。

提出的方法

• 将人机协作建模为一个具有不完全信息的双人随机博弈，其中双方共享目标，但对人类奖励函数的知识不对称。
• 将人类偏好表示为未知的奖励函数，并利用概率推理从联合动作示范与用户输入中估计该函数。
• 应用交叉训练与聚类技术，从行为数据中推断人类类型（例如可适应者与不可适应者），以提升机器人适应能力。
• 采用有限记忆与最优响应模型，基于不同假设近似人类行为，实现在动态环境中的可扩展规划。
• 采用相互适应的形式化方法，建模人类行为如何响应机器人行为，使机器人能够基于推断的人类适应性更新其策略。
• 将语言交流与信息获取行为整合到策略中，使机器人能够通过共享自主与协作操作任务引导用户。

实验结果

研究问题

• RQ1 机器人如何在实时协作中建模并适应人类的内在状态（如偏好与适应性）？
• RQ2 在人机团队中，单向机器人适应与相互适应之间的计算权衡是什么？
• RQ3 与固定机器人行为相比，建模人类适应性如何提升团队表现与用户信任？
• RQ4 概率规划与博弈论算法在多样化人机交互场景中，如何用于生成有效的实时机器人行为？
• RQ5 机器人如何利用信息获取与沟通行为，引导人类伙伴实现更高效的任务执行？

主要发现

• 在实验中，相互适应显著提升了人机团队表现，同时与单向机器人适应相比，用户信任度保持相当水平。
• 在共享自主任务中，机器人推断人类适应性能力显著提升了协调性：对可适应用户引导至最优动作，对不可适应用户则选择让步。
• 相互适应形式化方法优于仅机器人适应与无适应策略，后者虽达到最高性能，但以用户信任下降为代价。
• 信息获取行为（如缓慢移动或暂停）自然地从策略优化过程中涌现，使机器人能够估计人类偏好与适应性。
• 该框架在多样化场景中成功泛化，包括协作操作、社交导航与辅助护理，展现出鲁棒性与可扩展性。
• 语言交流被整合进形式化框架，使机器人能够使用语言引导用户，进一步提升协调性与表现。