[论文解读] Interaction-Aware Trajectory Prediction of Connected Vehicles using CNN-LSTM Networks

Xiaoyu Mo, Yang Xing+1 more|arXiv (Cornell University)|May 25, 2020

Autonomous Vehicle Technology and Safety参考文献 24被引用 6

一句话总结

本文提出一种用于联网车辆交互感知轨迹预测的CNN-LSTM模型，采用共享权重LSTM编码单个车辆动力学，并利用3×3方向网格与两层卷积神经网络（CNN）提取空间交互特征。该模型在RMSE指标上优于先前方法，并能提前预测车道变更，甚至在横向运动开始前即可实现。

ABSTRACT

Predicting the future trajectory of a surrounding vehicle in congested traffic is one of the basic abilities of an autonomous vehicle. In congestion, a vehicle's future movement is the result of its interaction with surrounding vehicles. A vehicle in congestion may have many neighbors in a relatively short distance, while only a small part of neighbors affect its future trajectory mostly. In this work, An interaction-aware method which predicts the future trajectory of an ego vehicle considering its interaction with eight surrounding vehicles is proposed. The dynamics of vehicles are encoded by LSTMs with shared weights, and the interaction is extracted with a simple CNN. The proposed model is trained and tested on trajectories extracted from the publicly accessible NGSIM US-101 dataset. Quantitative experimental results show that the proposed model outperforms previous models in terms of root-mean-square error (RMSE). Results visualization shows that the model is able to predict future trajectory induced by lane change before the vehicle operate obvious lateral movement to initiate lane changing.

研究动机与目标

• 通过显式建模车辆交互，提升拥堵交通环境下的轨迹预测精度。
• 开发一种深度学习框架，以同时捕捉单个车辆动力学与周围车辆之间的空间交互。
• 实现在显著横向移动发生前，对复杂操作（如车道变更）的早期预测。
• 利用NGSIM US-101数据集对交互感知轨迹预测模型进行训练与评估。
• 展示通过CNN实现的层次化特征提取相较于全连接层，在建模车辆交互方面的优越性。

提出的方法

• 共享权重LSTM从历史轨迹序列中编码自车及最多八辆周围车辆的时间动态特征。
• 通过将LSTM输出按相对于自车的3×3方向网格排列，编码车辆交互，基于方向而非绝对位置保留空间结构。
• 两层卷积神经网络（CNN）从方向网格中提取层次化交互特征，建模从局部到全局的交互模式。
• 将编码的自车动态特征与CNN提取的交互特征拼接后，输入最终的LSTM解码器，以预测未来的自车轨迹。
• 模型在NGSIM US-101数据集上端到端训练，采用均方误差损失函数。
• 消融实验对比了完整模型与仅使用自车动态、仅使用交互特征，或以全连接层替代CNN的变体模型。

实验结果

研究问题

• RQ1 CNN-LSTM架构是否能通过方向性空间编码，在密集交通中有效建模车辆交互？
• RQ2 与忽略交互的模型相比，引入交互感知特征是否能提升轨迹预测精度？
• RQ3 该模型是否能在可观测横向移动发生前实现车道变更的预测？
• RQ4 通过CNN实现的层次化特征提取与全连接层相比，在建模车辆交互方面表现如何？
• RQ5 在预测头中将自车动态特征与交互特征分开处理，其影响是什么？

主要发现

• 所提出的CNN-LSTM模型在所有对比模型中实现了最低的均方根误差（RMSE），证明了其卓越的预测精度。
• 轨迹可视化显示，在车道变更前的预变更场景中，模型能成功在显著横向移动发生前预测车道变更操作。
• 消融实验表明，结合自车动态与交互特征的模型性能优于仅使用交互特征的模型。
• 基于CNN的交互特征提取器优于全连接层变体，表明局部到全局的空间特征学习在交互建模中更具有效性。
• 原始LSTM模型（忽略交互）表现最差，证实了交互感知建模的重要性。
• 即使在预测复杂操作（如车道变更）时，模型仍保持强劲性能，能正确区分车道变更进行中与完成后的阶段。