[论文解读] Adaptable Human Intention and Trajectory Prediction for Human-Robot Collaboration

Abulikemu Abuduweili, Siyan Li+1 more|arXiv (Cornell University)|Sep 11, 2019

Human Pose and Action Recognition参考文献 18被引用 6

一句话总结

该论文提出了一种多任务深度学习框架，通过非线性递归最小二乘参数自适应算法（NRLS-PAA）实现实时在线自适应，联合预测人机协作（HRC）中的人类轨迹与意图。该方法使新用户轨迹预测误差降低超过28%，实现了快速、数据高效且可适应的HRC集成，具备高精度和跨个体的泛化能力。

ABSTRACT

To engender safe and efficient human-robot collaboration, it is critical to generate high-fidelity predictions of human behavior. The challenges in making accurate predictions lie in the stochasticity and heterogeneity in human behaviors. This paper introduces a method for human trajectory and intention prediction through a multi-task model that is adaptable across different human subjects. We develop a nonlinear recursive least square parameter adaptation algorithm (NRLS-PAA) to achieve online adaptation. The effectiveness and flexibility of the proposed method has been validated in experiments. In particular, online adaptation can reduce the trajectory prediction error by more than 28% for a new human subject. The proposed human prediction method has high flexibility, data efficiency, and generalizability, which can support fast integration of HRC systems for user-specified tasks.

研究动机与目标

• 实现人机协作（HRC）系统在最小数据量下的快速、用户特定集成。
• 应对人类行为中随机性与异质性的挑战，以实现准确预测。
• 开发一种能同时以高保真度预测人类轨迹与意图的模型。
• 实现实时在线自适应，使预测模型能够匹配个体用户的行为。
• 通过多任务学习与参数自适应，提升HRC系统的数据效率与泛化能力。

提出的方法

• 多任务深度学习模型结合编码器-解码器GRU网络用于轨迹预测，以及分类器用于意图预测。
• 模型利用共享编码器表示实现联合学习，其中意图预测基于解码器隐藏状态进行条件化。
• NRLS-PAA算法通过非线性映射的递归最小二乘法，实现实时非线性参数自适应。
• 该方法支持增量自适应，采用1步、2步和5步更新策略，以平衡速度与精度。
• 框架使用与-或图（and-or graph）指定任务结构，并根据预测的人类动作指导机器人行为。
• 数据预处理包括使用卡尔曼滤波进行轨迹平滑，以及对深度图像进行孔洞填充，以提升输入质量。

实验结果

研究问题

• RQ1 与单任务模型相比，多任务学习模型是否能联合提升人类轨迹与意图预测的准确性？
• RQ2 通过NRLS-PAA实现的在线参数自适应在降低新人类受试者预测误差方面效果如何？
• RQ3 多任务学习在多大程度上减少过拟合并提升人类行为预测的泛化能力？
• RQ4 自适应步长选择（1步、2步、5步）对预测精度与计算成本有何影响？
• RQ5 所提出的框架是否能实现HRC系统的快速、数据高效集成，以支持用户指定的任务？

主要发现

• 与单任务模型相比，多任务模型在意图预测准确率上提升3.44%，轨迹预测均方误差（MSE）降低6.79%。
• 在采用5步自适应时，NRLS-PAA方法使轨迹预测MSE相比非自适应基线降低28.03%。
• 采用5步自适应后，意图预测准确率提升1.72%，表明对个体行为差异具有更强鲁棒性。
• 5步自适应策略达到最佳性能，平均每个样本的推理时间为0.3秒，用于编码器隐藏层的自适应。
• 在5步NRLS-PAA自适应后，模型实现94.6%的意图预测准确率和3.964 cm²的MSE，优于非自适应基线。
• 该框架实现了HRC系统的快速集成，具备高度泛化能力，表现为在先前未见的人类受试者上取得显著性能提升。