[论文解读] Human-robot co-manipulation of extended objects: Data-driven models and control from analysis of human-human dyads

Erich Mielke, Eric Townsend+2 more|arXiv (Cornell University)|Jan 3, 2020

Robot Manipulation and Learning被引用 4

一句话总结

本文提出了一种基于数据驱动的人机协同操作框架，利用人与人配对的运动和力数据来预测人类意图，从而实现直观、自适应的控制。该研究引入了一种基于循环神经网络（RNN）的控制器（NNPC），其在任务完成时间和准确性方面优于基于力的控制器（EVIC），但用户更偏好EVIC，因其感知到更高的安全性和可预测性，凸显了性能与人类信任之间的权衡。

ABSTRACT

Human teams are able to easily perform collaborative manipulation tasks. However, for a robot and human to simultaneously manipulate an extended object is a difficult task using existing methods from the literature. Our approach in this paper is to use data from human-human dyad experiments to determine motion intent which we use for a physical human-robot co-manipulation task. We first present and analyze data from human-human dyads performing co-manipulation tasks. We show that our human-human dyad data has interesting trends including that interaction forces are non-negligible compared to the force required to accelerate an object and that the beginning of a lateral movement is characterized by distinct torque triggers from the leader of the dyad. We also examine different metrics to quantify performance of different dyads. We also develop a deep neural network based on motion data from human-human trials to predict human intent based on past motion. We then show how force and motion data can be used as a basis for robot control in a human-robot dyad. Finally, we compare the performance of two controllers for human-robot co-manipulation to human-human dyad performance.

研究动机与目标

• 为解决在操作延伸的刚性物体时，因平动与转动意图模糊而导致的人机协同操作挑战。
• 开发一种从人与人交互模式中学习的控制框架，以实现直观、自适应的物理人机协同操作。
• 对比基于神经网络的控制器（NNPC）与基于力的控制器（EVIC）以及蒙眼人与人配对在性能和用户感知方面的表现。
• 探究是否能从人与人配对的运动和力数据中可靠地预测协同操作任务中的人类意图。
• 评估在人类运动数据上应用深度学习以实现实时、响应式机器人控制在协作操作中的可行性。

提出的方法

• 收集了21组人与人配对在平面协同操作任务中使用长板作为刚性物体时的运动和力数据。
• 分析人与人配对数据以识别趋势：交互力不可忽略，运动启动时存在扭矩触发，轨迹呈现最小-jerk特征。
• 利用历史运动数据（位置、速度）在循环神经网络（RNN）上进行训练，以预测未来的人类意图（以速度表示）。
• 在配备移动底座的Baxter机器人上实现基于神经网络的控制器（NNPC），利用RNN估计意图并指挥机器人运动。
• 设计并评估了扩展可变阻抗控制（EVIC），一种新型基于力的控制器，用于三自由度平面协同操作，优于标准和双人阻抗控制。
• 在桌面搬运任务中，将NNPC与EVIC对比盲眼人与人配对，评估指标包括完成时间、轨迹平滑度及用户偏好。

实验结果

研究问题

• RQ1 能否从人与人配对的运动和力数据中可靠预测在涉及延伸物体的协同操作任务中的人类意图？
• RQ2 基于深度学习的意图预测器（RNN）与基于力的控制器（EVIC）在性能和用户感知方面有何差异？
• RQ3 人与人协同操作模式（如最小-jerk轨迹和扭矩触发）在多大程度上可为有效的人机控制策略提供指导？
• RQ4 基于数据驱动的、以运动为基础的控制器（NNPC）是否能实现与人与人配对相当的协同操作性能？
• RQ5 为何用户更偏好性能较低但基于力的控制器（EVIC），而非性能更优的学习型控制器（NNPC），尽管后者在指标上表现更优？

主要发现

• 基于RNN的控制器（NNPC）在任务完成时间和轨迹准确性方面显著优于EVIC控制器，证明了从人类运动数据中学习的有效性。
• NNPC在完成时间上达到了与蒙眼人与人配对相当的水平，表明基于运动的意图预测可实现与人类相当的协作水平。
• 尽管性能更优，用户仍更偏好EVIC控制器，因其感知到更高的安全性、可预测性以及更低的困惑感，凸显了信任与性能之间的权衡。
• 人与人之间的交互力不可忽略，且在沟通中起到关键作用，这与‘应尽量减少力’的假设相矛盾。
• 横向运动的开始始终由主导者产生的扭矩触发，表明存在明确的意图生物力学特征。
• 偏离最小-jerk轨迹可作为评估协同操作性能的有效指标，轨迹越平滑，协调性越好。