[论文解读] Flexible human-robot cooperation models for assisted shop-floor tasks

Kourosh Darwish, Francesco Wanderlingh+4 more|arXiv (Cornell University)|Jul 9, 2017

Robot Manipulation and Learning被引用 4

一句话总结

本文提出 FlexHRC，一种用于车间任务的灵活人机协作架构，利用可穿戴传感器实现实时人类动作识别，采用 AND/OR 图建模协作任务计划，并引入任务优先级控制框架，将动作规划与运动控制解耦。该系统实现自然、自适应的协作，人类可在不偏离机器人建议的情况下自由行动，且不会中断工作流程，人类活动识别延迟低于10%，并能无缝实现反应式避障，无需重新规划轨迹。

ABSTRACT

The Industry 4.0 paradigm emphasizes the crucial benefits that collaborative robots, i.e., robots able to work alongside and together with humans, could bring to the whole production process. In this context, an enabling technology yet unreached is the design of flexible robots able to deal at all levels with humans' intrinsic variability, which is not only a necessary element for a comfortable working experience for the person but also a precious capability for efficiently dealing with unexpected events. In this paper, a sensing, representation, planning and control architecture for flexible human-robot cooperation, referred to as FlexHRC, is proposed. FlexHRC relies on wearable sensors for human action recognition, AND/OR graphs for the representation of and reasoning upon cooperation models, and a Task Priority framework to decouple action planning from robot motion planning and control.

研究动机与目标

• 为解决工业4.0车间环境中人机协作缺乏灵活性的问题，当前的刚性任务序列和僵化的机器人响应会妨碍操作员的舒适度与效率。
• 使操作员在协作过程中可自由选择动作，而不受预设机器人计划的约束，同时保持目标一致性。
• 将高层动作规划与底层运动控制解耦，使机器人能够在无需重新规划的情况下，反应式地应对动态环境（如障碍物）。
• 通过可穿戴传感器实现对人类动作的持续监控，不施加运动限制，实现无干扰、实时的动作识别。
• 开发一种混合反应式-推理式架构，在工作空间存在不确定性或人类行为偏离时，仍能保持协作效率。

提出的方法

• 使用可穿戴惯性传感器（IMUs）捕获人类运动数据，实现实时人类动作识别，支持操作员无约束移动。
• AND/OR 图表示协作模型，编码任务依赖关系、备选路径和条件，实现对可能动作序列的灵活推理。
• 采用任务优先级控制框架，将人类/机器人动作规划与机器人运动规划及控制解耦，支持各层独立优化。
• 将反应式控制任务（如避障）作为优先级任务嵌入控制层级，实现实时响应，无需轨迹重规划。
• 使用高斯混合模型（GMMs）和高斯混合回归（GMRs）对惯性传感器数据进行建模与人类手势识别。
• 在统一流程中集成动作识别、协作模型推理与运动控制，确保对人类选择和环境变化的无缝适应。

实验结果

研究问题

• RQ1 如何使人机协作足够灵活，使操作员在偏离机器人建议动作的同时仍能实现协作目标？
• RQ2 可穿戴传感器在不限制操作员运动的前提下，能在多大程度上实现准确、低延迟的人类动作识别？
• RQ3 任务优先级控制框架是否能有效实现高层动作规划与底层运动控制的解耦，尤其在动态、部分未知的工作空间中？
• RQ4 反应式行为（如避障）的集成如何影响整体协作时间与系统响应速度？
• RQ5 AND/OR 图能否有效建模复杂、多路径的协作模型，同时支持实时推理与自适应调整？

主要发现

• 利用可穿戴传感器进行人类动作识别，平均每个动作引入约1.2秒的延迟，占总协作时间（120秒）的10%以下。
• 系统成功实现动作规划与运动控制的解耦，使机器人能够无需重新规划轨迹即可反应式地完成避障。
• 避障任务（如肘部关节避让）均在预设阈值内完成，激活函数从未达到最大值，表明响应有效且及时。
• 在有障碍物的测试中，平均协作执行时间保持稳定：人类动作时间（T_h）平均为54.76秒，机器人动作时间（T_r）为44.96秒，动作识别延迟（T_ao）为0.06秒。
• 系统在应对动态环境方面表现出鲁棒性，当反应式任务被激活时，整体协作时间未见明显增加。
• 操作员自然调整其动作以提升识别准确性，表明未来可通过在线学习实现人机协同自适应。