[论文解读] 3DOF Pedestrian Trajectory Prediction Learned from Long-Term Autonomous Mobile Robot Deployment Data

Li Sun, Zhi Yan+3 more|arXiv (Cornell University)|Sep 30, 2017

Video Surveillance and Tracking Methods被引用 5

一句话总结

该论文提出T-Pose-LSTM，一种3DOF行人轨迹预测模型，利用长期自主机器人部署数据，通过测距传感器预测2D位置和朝向。通过在序列到序列LSTM编码器-解码器中引入时间上下文（日期/时间），该模型在长期预测中达到最先进性能，在包含15,000条轨迹的3个月护理院数据集上，相比2D基线模型，平均位移误差降低10–20%。

ABSTRACT

This paper presents a novel 3DOF pedestrian trajectory prediction approach for autonomous mobile service robots. While most previously reported methods are based on learning of 2D positions in monocular camera images, our approach uses range-finder sensors to learn and predict 3DOF pose trajectories (i.e. 2D position plus 1D rotation within the world coordinate system). Our approach, T-Pose-LSTM (Temporal 3DOF-Pose Long-Short-Term Memory), is trained using long-term data from real-world robot deployments and aims to learn context-dependent (environment- and time-specific) human activities. Our approach incorporates long-term temporal information (i.e. date and time) with short-term pose observations as input. A sequence-to-sequence LSTM encoder-decoder is trained, which encodes observations into LSTM and then decodes as predictions. For deployment, it can perform on-the-fly prediction in real-time. Instead of using manually annotated data, we rely on a robust human detection, tracking and SLAM system, providing us with examples in a global coordinate system. We validate the approach using more than 15K pedestrian trajectories recorded in a care home environment over a period of three months. The experiment shows that the proposed T-Pose-LSTM model advances the state-of-the-art 2D-based method for human trajectory prediction in long-term mobile robot deployments.

研究动机与目标

• 解决现有2D轨迹预测方法缺乏朝向信息和长期时空上下文的局限性。
• 通过利用长期机器人运行中获得的上下文特定数据，提升真实世界服务机器人部署中的长期行人轨迹预测性能。
• 开发一种数据驱动模型，预测3DOF位姿（x, y, yaw），而非仅2D位置，从而提升自主机器人应用的现实性和实用性。
• 利用长期机器人部署中获得的真实世界未标注传感器数据，而非依赖人工标注数据集。
• 发布一个通过3D LiDAR在护理院环境中采集的新型3D行人轨迹数据集，以支持未来研究。

提出的方法

• 提出T-Pose-LSTM，一种序列到序列LSTM编码器-解码器架构，输入为3DOF位姿观测（x, y, yaw）和一天中的时间/日期。
• 将时间上下文（日期和时间）作为额外输入特征，以建模长时间跨度下的环境特定人类行为。
• 对于较长观测间隔（1Hz）使用单层LSTM，对于较短间隔（2.5Hz）使用三层共享LSTM，以平衡序列长度与模型容量。
• 将所有输入维度（x, y, yaw, 日期, 时间）归一化为标准正态分布（N(0,1)）作为预处理步骤。
• 使用配备2D和3D LiDAR传感器的自主移动机器人的真实世界数据端到端训练模型，避免人工标注。
• 借助鲁棒的人体检测、跟踪和SLAM系统，提取全局坐标轨迹，无需依赖基于图像的标注。

实验结果

研究问题

• RQ1 在深度学习模型中引入长期时间上下文（日期和时间）是否能提升长时间跨度下3DOF行人轨迹预测的准确性？
• RQ2 与仅预测2D位置的模型相比，预测3DOF位姿（位置和朝向）在长期准确性和鲁棒性方面表现如何？
• RQ3 在真实世界未标注机器人部署数据上训练的数据驱动LSTM模型，其性能相比现有2D轨迹预测基线模型有多大的优势？
• RQ4 在静态行人较多的数据集中，模型表现如何，此时姿态估计准确性较低？
• RQ5 长期部署中整合的时空上下文是否能实现超过5秒的更可靠预测？

主要发现

• 在STRANDS数据集上，T-Pose-LSTM在所有模型中实现了最低的平均位移误差（ADE），在5秒预测时表现出显著性能优势。
• 在5秒以上的预测中，T-Pose-LSTM相比Pose-LSTM和基线模型均有显著改进，验证了时间信息整合的有效性。
• 在L-CAS数据集上，Pose-LSTM相比基线模型Social-LSTM将ADE降低了约10–20%，证明了同时预测朝向与位置的价值。
• 在L-CAS数据集上，Pose-LSTM的AVE为0.95m，而基线模型Social-LSTM为1.19m，证实了3DOF输入可提升位置预测准确性。
• Pose-LSTM在L-CAS数据集上的AEDE（平均欧拉角差误差）为35度，高于STRANDS数据集，这是由于对静态个体的姿态估计准确性较低所致。
• 预测准确性随观测序列变长而提升，随序列缩短而下降，证实了充分的时间上下文对可靠LSTM预测至关重要。