[论文解读] Estimating Human Intent for Physical Human-Robot Co-Manipulation

Eric C. Townsend, Erich A. Mielke+2 more|arXiv (Cornell University)|May 30, 2017

Motor Control and Adaptation参考文献 16被引用 7

一句话总结

该论文提出了一种神经网络模型，仅使用人类双人协作中的历史运动数据，即可预测人类在物理人机协同操作中的意图。该模型在150个时间步（200 Hz）的运动数据上进行训练，能够以0.02 (m/s)²的均方误差预测未来50个时间步的运动速度，并成功推广至使用简单阻抗控制器的人机协作双人组，从而实现更直观的机器人协作。

ABSTRACT

Human teams can be exceptionally efficient at adapting and collaborating during manipulation tasks using shared mental models. However, the same shared mental models that can be used by humans to perform robust low-level force and motion control during collaborative manipulation tasks are non-existent for robots. For robots to perform collaborative tasks with people naturally and efficiently, understanding and predicting human intent is necessary. However, humans are difficult to predict and model. We have completed an exploratory study recording motion and force for 20 human dyads moving an object in tandem in order to better understand how they move and how their movement can be predicted. In this paper, we show how past motion data can be used to predict human intent. In order to predict human intent, which we equate with the human team's velocity for a short time horizon, we used a neural network. Using the previous 150 time steps at a rate of 200 Hz, human intent can be predicted for the next 50 time steps with a mean squared error of 0.02 (m/s)^2. We also show that human intent can be estimated in a human-robot dyad. This work is an important first step in enabling future work of integrating human intent estimation on a robot controller to execute a short-term collaborative trajectory.

研究动机与目标

• 开发一种在物理人机协同操作任务中预测人类意图的方法，以实现更直观的协作。
• 确定仅凭历史运动数据是否足以准确预测协同操作中人类团队的短期速度。
• 验证当人类伙伴被配备简单阻抗控制器的机器人取代时，意图预测模型是否仍保持准确性。
• 为将人类意图估计集成到机器人控制器中以实现实时、响应迅速的协作提供基础。
• 探索仅使用运动数据进行意图预测的可行性，避免依赖力传感器或复杂传感设备。

提出的方法

• 收集了20组人类双人协作在搬运长板任务中产生的运动与力数据。
• 将人类意图定义为团队在未来50个时间步（0.25秒）内的速度，且仅基于历史运动数据进行定义。
• 使用过去150个时间步的运动数据（采样频率200 Hz）对前馈神经网络进行训练，以预测未来50个时间步的速度。
• 采用均方误差（MSE）损失函数优化网络，并对训练集和验证集使用独立的数据划分。
• 通过将一名人类替换为配备简单阻抗控制器的移动机器人，验证模型在人机双人协作中的表现。
• 将神经网络的性能与多项式回归进行对比，并评估在编码器噪声增加条件下的鲁棒性。

实验结果

研究问题

• RQ1 仅凭历史运动数据是否足以在协同操作任务中准确预测人类团队的意图（即未来速度）？
• RQ2 在存在噪声的现实条件下，基于神经网络的意图预测器与传统多项式回归相比表现如何？
• RQ3 该意图预测模型是否能推广至人机双人组，其中动力学特性与人本人类对存在差异？
• RQ4 在协同操作中，使用运动数据进行意图预测的有效时间范围是多少？
• RQ5 该神经网络预测对机器人系统中典型的传感器噪声有多大的鲁棒性？

主要发现

• 当使用过去150个时间步的运动数据（采样频率200 Hz）预测未来50个时间步（0.25秒）的人类团队速度时，神经网络的均方误差为0.02 (m/s)²。
• 神经网络在噪声条件下优于多项式回归，且多项式回归在引入噪声后性能迅速下降。
• 该模型在人机双人组中表现出良好的泛化能力，即使在一名伙伴为配备简单阻抗控制器的机器人时，仍能保持准确的预测。
• 神经网络未表现出显著的过拟合现象，训练集与验证集上的性能表现相似。
• 预测精度在预测时间窗的前50个时间步内保持稳定，表明其具备可靠的短期意图估计能力。
• 结果表明，仅使用运动数据即可实现稳健的意图估计，支持将此类模型集成到实时机器人控制器中。