[论文解读] Motion Prediction with Recurrent Neural Network Dynamical Models and Trajectory Optimization

Philipp Kratzer, Marc Toussaint+1 more|arXiv (Cornell University)|Jun 28, 2019

Autonomous Vehicle Technology and Safety参考文献 11被引用 4

一句话总结

本文提出了一种运动预测框架，结合基于GRU的循环神经网络以建模短期人体运动动力学，并利用基于梯度的轨迹优化方法以整合长期目标和环境约束。通过利用学习到的动力学并优化轨迹以逼近目标状态，该方法在基线方法基础上显著提升了预测精度，尤其在长时域抓取运动中表现更优。

ABSTRACT

Predicting human motion in unstructured and dynamic environments is difficult as humans naturally exhibit complex behaviors that can change drastically from one environment to the next. In order to alleviate this issue, we propose to encode the lower level aspects of human motion separately from the higher level geometrical aspects, which we believe will generalize better over environments. In contrast to our prior work~\cite{kratzer2018}, we encode the short-term behavior by using a state-of-the-art recurrent neural network structure instead of a Gaussian process. In order to perform longer-term behavior predictions that account for variation in tasks and environments, we propose to make use of gradient-based trajectory optimization. Preliminary experiments on real motion data demonstrate the efficacy of the approach.

研究动机与目标

• 解决在非结构化、动态环境中预测复杂人体运动的挑战，其中行为在不同场景中存在显著差异。
• 通过引入深度学习替代方案，克服基于高斯过程的模型在运动预测中的可扩展性限制。
• 通过轨迹优化整合环境与任务级约束，提升长期运动预测的准确性。
• 通过解耦底层动力学学习与高层目标描述，实现对多样化人体行为与环境的泛化能力。

提出的方法

• 使用编码器-解码器结构的GRU网络，从原始动作捕捉数据中建模短期人体运动动力学，训练目标为预测接下来0.5秒的全身运动学参数。
• 采用滑动窗口方法从连续运动数据中提取固定长度为1秒的轨迹，并引入随机基底变换以避免位置偏差。
• 将GRU预测的动力学整合进轨迹优化框架，最小化包含目标状态约束的代价函数。
• 使用基于梯度的优化方法对完整轨迹进行优化，确保预测路径在尊重学习到的动力学的同时，准确抵达目标位置。
• 采用目标条件化的代价函数，对偏离目标手部位置的情况施加惩罚，从而实现高精度的长时域预测。
• 保留训练好的GRU模型而不重新训练；仅修改优化步骤以引入目标约束，实现与现有RNN模型的即插即用式集成。

实验结果

研究问题

• RQ1 数据驱动的循环神经网络是否能够在保持泛化性与可扩展性的前提下，替代运动预测中的高斯过程？
• RQ2 通过轨迹优化引入目标状态约束后，与原始RNN输出相比，长期运动预测精度的提升程度如何？
• RQ3 GRU模型在无需任务特定微调的情况下，能否在多样化抓取任务与不同物体位置中实现良好泛化？
• RQ4 当仅提供末端执行器目标时，采用简单目标约束的轨迹优化是否能显著提升预测质量？
• RQ5 学习到的动力学与优化方法的结合，能否有效处理真实人体运动数据中的复杂全身体运动模式？

主要发现

• 与GRU基线相比，所提方法（GRU trajopt）在1000ms预测时长下，全身体运动的平均预测误差降低了42%，达到1.19mm，而基线为1.80mm。
• 在1000ms预测时长下，所提方法的腕部误差降低至0.00mm，实现对目标位置的完美收敛，优于线性插值与GRU基线方法。
• 在875ms时长下，GRU trajopt方法的腕部平均误差为1.15mm，而GRU基线为1.68mm，表明长期预测精度显著提升。
• 该方法在所有时间步均保持低误差，在500ms时腕部误差相比GRU基线降低25%（0.87mm vs. 1.13mm）。
• 即使仅以右手目标位置作为输入，轨迹优化的引入也显著提升了预测质量，表明对人类动力学实现了有效的隐式建模。
• 该方法在包含25种不同抓取动作的5分钟测试集中，对多样化抓取任务（包括不同高度的物体）表现出良好的泛化能力。