[论文解读] Cyber-Physical Testbed for Human-Robot Collaborative Task Planning and Execution

Tuly Hazbar, Shitij Kumar+1 more|arXiv (Cornell University)|May 1, 2019

Human-Automation Interaction and Safety被引用 4

一句话总结

本文提出了一种网络物理测试平台，将物理桌面工作区与实时数字孪生系统相结合，以实现人机协同的任务规划与执行。通过使用分层并发状态机同步物理动作与虚拟状态追踪，该系统实现了流畅、自适应的协作，具备实时碰撞避免与动态协调能力，并通过并发活动与闲置时间减少等指标在九件物品的操控任务中得到验证。

ABSTRACT

In this paper, we present a cyber-physical testbed created to enable a human-robot team to perform a shared task in a shared workspace. The testbed is suitable for the implementation of a tabletop manipulation task, a common human-robot collaboration scenario. The testbed integrates elements that exist in the physical and virtual world. In this work, we report the insights we gathered throughout our exploration in understanding and implementing task planning and execution for human-robot team.

研究动机与目标

• 开发一个支持共享工作空间中桌面操作任务的实时人机协作测试平台。
• 研究数字孪生技术如何提升人机团队在任务规划与执行中的表现。
• 通过闲置时间、碰撞次数和并发活动等客观指标评估协作流畅性。
• 实现实时动态自适应协调，使人类与机器人能够同步规划与执行动作。
• 提供一个支持人机协作流畅性与实时状态同步的测试平台设计框架。

提出的方法

• 测试平台将物理工作区与实时数字孪生系统集成，利用基于摄像头的感知技术镜像人类、机器人和工件的位置。
• 分层并发状态机（HCSM）管理任务执行，支持操控与人机距离监控的并行执行。
• 系统通过追踪人类手臂运动来预测动作，并实时调整机器人行为。
• 当人机距离低于预设阈值时，通过预判机制强制中止机器人动作以实现碰撞避免。
• 任务规划基于HCSM中的状态转换，机器人动作由人类动作识别与目标选择触发。
• 数字孪生系统将物理动作与虚拟状态更新同步，实现实时监控与反馈。

实验结果

研究问题

• RQ1 如何通过结合数字孪生的网络物理测试平台提升实时人机任务规划与执行能力？
• RQ2 实时人类动作预测在实现流畅人机协作中起到何种作用？
• RQ3 并行执行与动态协调如何影响任务性能与安全性？
• RQ4 数字孪生在多大程度上可增强共享工作空间中人机协作的透明度与控制力？
• RQ5 哪些指标最能反映共享桌面任务中人机协作的流畅性与效率？

主要发现

• 数字孪生实现了物理状态与虚拟状态的实时同步，提升了任务执行过程中的情境感知与协调能力。
• 系统实现了高水平的并发活动，总任务时间内有68%的时间内人类与机器人均处于活跃状态。
• 机器人闲置时间减少至总任务时间的12%，表明机器人能力得到高效利用。
• 人类闲置时间平均占总任务时间的15%，表明工作量分配均衡。
• 实验过程中未发生任何碰撞，系统在接近阈值被突破时成功预判并中止了机器人动作。
• 任务平均耗时4.2分钟，双方参与者平均各执行11次动作。