[论文解读] What Truly Matters in Trajectory Prediction for Autonomous Driving?

Tran, Phong, Haoran Wu+4 more|arXiv (Cornell University)|Jun 27, 2023

Autonomous Vehicle Technology and Safety被引用 8

一句话总结

论文认为数据集预测与真实驾驶之间的动力学差距，加上预测器计算时间，能够解释预测准确性与驾驶性能之间的大部分差异，并倡导交互式、任务驱动的评估。

ABSTRACT

Trajectory prediction plays a vital role in the performance of autonomous driving systems, and prediction accuracy, such as average displacement error (ADE) or final displacement error (FDE), is widely used as a performance metric. However, a significant disparity exists between the accuracy of predictors on fixed datasets and driving performance when the predictors are used downstream for vehicle control, because of a dynamics gap. In the real world, the prediction algorithm influences the behavior of the ego vehicle, which, in turn, influences the behaviors of other vehicles nearby. This interaction results in predictor-specific dynamics that directly impacts prediction results. In fixed datasets, since other vehicles' responses are predetermined, this interaction effect is lost, leading to a significant dynamics gap. This paper studies the overlooked significance of this dynamics gap. We also examine several other factors contributing to the disparity between prediction performance and driving performance. The findings highlight the trade-off between the predictor's computational efficiency and prediction accuracy in determining real-world driving performance. In summary, an interactive, task-driven evaluation protocol for trajectory prediction is crucial to capture its effectiveness for autonomous driving. Source code along with experimental settings is available online.

研究动机与目标

• 展示静态评估指标（ADE/FDE）无法预测下游自动驾驶任务中的驾驶性能。
• 量化预测器影响的自车动作与环境响应之间的动力学差距对结果的影响。
• 在交互式仿真中评估除了准确性以外的因素，包括计算效率对驾驶性能的影响。
• 提出一个与下游驾驶结果对齐的交互式、任务驱动评估协议，使轨迹预测与驾驶结果相一致。

提出的方法

• 将带规划的运动预测建模为一个规划感知的MDP，其中预测器充当策略。
• 定义并测量真实世界规划者转换与数据集规划者转换之间的动力学差距 G = T1* − T1hat。
• 使用基于SUMMIT的交互式仿真器，在固定预测或规划预算下，以两种规划器（RVO与DESPOT）评估预测器。
• 在闭环评估中，将静态指标（ADE/minADE）与动态ADE以及驾驶性能指标（安全性、效率、舒适度）进行比较。
• 分析预测不对称性、多模态、遮挡等因素，以及特别是动力学差距对预测-驾驶相关性的影响。
• 将预测器计算时间视为影响驾驶性能的关键因素，强调速度—精度权衡。

实验结果

研究问题

• RQ1 当前的静态轨迹预测评估（ADE/FDE）是否与自动驾驶流水线中的真实驾驶性能相关？
• RQ2 预测准确性与驾驶性能之间的差异主要由哪个因素解释？
• RQ3 动力学差距与计算效率如何影响交互式、任务驱动评估中的驾驶性能？
• RQ4 是否有一个交互式、规划感知的评估协议能更好地反映轨迹预测器在现实世界的适用性？

主要发现

• 在交互式规划中，静态ADE与minADE与驾驶性能的相关性有限，存在一些误导性的正相关趋势。
• 在交互式仿真器中的动态ADE与驾驶性能的相关性要强得多，表明动力学差距是主导因素。
• 定量结果：动力学差距解释了静态ADE与驾驶性能之间不一致性的77.0%（RVO规划器）和70.3%（DESPOT规划器）。
• 除了动力学差距，预测不对称性、多模态预测以及遮挡也影响准确性与驾驶性能之间的关系，但程度较低。
• 预测器计算效率显著影响驾驶性能，尤其在较高的规划时钟速下，揭示了速度与精度之间的关键权衡。
• 总体而言，驾驶性能由动态预测准确性与计算能力之间的权衡所支配，正当化了任务驱动的评估。