[论文解读] Learning Trajectory Prediction with Continuous Inverse Optimal Control via Langevin Sampling of Energy-Based Models.

Yifei Xu, Tianyang Zhao+3 more|arXiv (Cornell University)|Apr 10, 2019

Autonomous Vehicle Technology and Safety参考文献 23被引用 10

一句话总结

本文提出一种基于模型的逆最优控制方法，结合能量模型中的Langevin采样，用于自动驾驶中的车辆轨迹预测。通过从示范数据中学习非马尔可夫性、神经网络增强的代价函数，该方法在融入运动学约束和场景上下文的前提下，实现了最先进（SOTA）的预测精度。

ABSTRACT

Autonomous driving is a challenging multiagent domain which requires optimizing complex, mixed cooperative-competitive interactions. Learning to predict contingent distributions over other vehicles' trajectories simplifies the problem, allowing approximate solutions by trajectory optimization with dynamic constraints. We take a model-based approach to prediction, in order to make use of structured prior knowledge of vehicle kinematics, and the assumption that other drivers plan trajectories to minimize an unknown cost function. We introduce a novel inverse optimal control (IOC) algorithm to learn other vehicles' cost functions in an energy-based generative model. Langevin Sampling, a Monte Carlo based sampling algorithm, is used to directly sample the control sequence. Our algorithm provides greater flexibility than standard IOC methods, and can learn higher-level, non-Markovian cost functions defined over entire trajectories. We extend weighted feature-based cost functions with neural networks to obtain NN-augmented cost functions, which combine the advantages of both model-based and model-free learning. Results show that model-based IOC can achieve state-of-the-art vehicle trajectory prediction accuracy, and naturally take scene information into account.

研究动机与目标

• 通过建模车辆之间的复杂协同-竞争交互关系，提升自动驾驶中的轨迹预测性能。
• 利用逆最优控制从观测轨迹中学习未知的驾驶员代价函数。
• 实现对整个轨迹依赖的灵活、非马尔可夫性代价函数学习，超越标准马尔可夫假设。
• 将车辆运动学的结构化先验知识与数据驱动的神经网络相结合，以提升泛化能力。
• 开发一种基于采样的推理方法，可直接生成满足动态约束的控制序列。

提出的方法

• 使用基于能量的生成模型来表示驾驶行为的代价函数。
• 应用Langevin采样——一种蒙特卡洛方法——直接从基于能量的模型中采样控制序列。
• 提出一种新颖的逆最优控制算法，从观测到的车辆轨迹中学习代价函数。
• 通过神经网络增强基于特征的代价函数，以建模复杂、高层级的驾驶偏好。
• 在模型结构中将车辆运动学约束作为先验知识进行整合。
• 在保持轨迹可行性的前提下，通过基于梯度的学习方法优化代价函数。

实验结果

研究问题

• RQ1 在多智能体驾驶场景中，结合Langevin采样的逆最优控制能否提升轨迹预测的准确性？
• RQ2 该模型在多大程度上能够学习依赖于整个轨迹而非局部状态的非马尔可夫性代价函数？
• RQ3 将神经网络与基于模型的先验知识相结合，能在多大程度上提升预测性能？
• RQ4 该方法能否自然地整合场景上下文和动态约束以实现轨迹预测？
• RQ5 与现有的无模型和基于模型的基线方法相比，该方法表现如何？

主要发现

• 所提方法通过利用结构化先验知识与神经网络增强的代价函数，实现了最先进（SOTA）的轨迹预测精度。
• Langevin采样实现了在满足动态约束的前提下，直接生成可行控制序列的能力。
• 该模型成功学习到依赖于整个轨迹的高层级、非马尔可夫性代价函数，从而提升了预测的保真度。
• 神经网络增强的代价函数在捕捉复杂驾驶行为方面优于传统的基于特征的函数。
• 该方法自然地整合了场景上下文与运动学约束，从而产生更真实、更安全的轨迹预测结果。
• 该方法在复杂、混合协同-竞争环境中的灵活性显著优于标准逆最优控制方法。