[论文解读] PRANK: motion Prediction based on RANKing

Yuriy Biktairov, Maxim Stebelev+3 more|arXiv (Cornell University)|Oct 22, 2020

Autonomous Vehicle Technology and Safety参考文献 26被引用 8

一句话总结

PRANK 是一种用于自动驾驶的实时运动预测方法，通过使用预先构建的轨迹库和潜在轨迹空间中的近似最近邻搜索，高效建模多模态未来轨迹。通过结合场景编码与基于排序的轨迹选择，该方法在 Argoverse 和内部数据集上实现了具有竞争力的性能，确保了物理上的合理性与低延迟推理。

ABSTRACT

Predicting the motion of agents such as pedestrians or human-driven vehicles is one of the most critical problems in the autonomous driving domain. The overall safety of driving and the comfort of a passenger directly depend on its successful solution. The motion prediction problem also remains one of the most challenging problems in autonomous driving engineering, mainly due to high variance of the possible agent's future behavior given a situation. The two phenomena responsible for the said variance are the multimodality caused by the uncertainty of the agent's intent (e.g., turn right or move forward) and uncertainty in the realization of a given intent (e.g., which lane to turn into). To be useful within a real-time autonomous driving pipeline, a motion prediction system must provide efficient ways to describe and quantify this uncertainty, such as computing posterior modes and their probabilities or estimating density at the point corresponding to a given trajectory. It also should not put substantial density on physically impossible trajectories, as they can confuse the system processing the predictions. In this paper, we introduce the PRANK method, which satisfies these requirements. PRANK takes rasterized bird-eye images of agent's surroundings as an input and extracts features of the scene with a convolutional neural network. It then produces the conditional distribution of agent's trajectories plausible in the given scene. The key contribution of PRANK is a way to represent that distribution using nearest-neighbor methods in latent trajectory space, which allows for efficient inference in real time. We evaluate PRANK on the in-house and Argoverse datasets, where it shows competitive results.

研究动机与目标

• 解决自动驾驶中因意图模糊性和执行不确定性导致的多模态和不确定的智能体运动预测挑战。
• 开发一种实时运动预测系统，高效建模不确定性，并快速获取可能轨迹及其概率。
• 通过避免不可行轨迹，确保预测结果在物理上合理，防止误导下游规划模块。
• 通过将大部分计算任务移至离线预处理阶段，实现适合部署于生产级自动驾驶流水线的低延迟推理。
• 通过利用度量学习和近似最近邻搜索，提供一种可扩展且高效的复杂生成模型替代方案。

提出的方法

• 将未来智能体轨迹表示为固定且预先学习的轨迹库上的分布，该轨迹库由真实世界中智能体运动的观测数据构建。
• 使用卷积神经网络对栅格化的鸟瞰图图像进行场景编码，生成场景嵌入。
• 通过学习的度量将场景嵌入和轨迹库条目映射到共享的潜在空间，以实现有效的相似性计算。
• 在潜在空间中执行近似最近邻（ANN）搜索，基于场景上下文从轨迹库中检索最相关的轨迹。
• 利用检索到的轨迹计算后验模态、概率和密度估计，实现高效的多模态预测。
• 通过蒙特卡洛采样或模态聚合对 ANN 结果进行后处理，生成包含不确定性量化的最终预测。

实验结果

研究问题

• RQ1 基于排名的方法结合预构建的轨迹库，是否能在实现实时推理的同时达到具有竞争力的运动预测性能？
• RQ2 在学习的潜在空间中使用近似最近邻搜索，能否有效建模多模态且物理上合理的未来轨迹？
• RQ3 在准确性和延迟方面，该方法在多大程度上优于或匹配最先进生成模型？
• RQ4 当轨迹库在某一地区数据上训练而在另一地区测试时，该方法在分布偏移下的表现如何？
• RQ5 该方法是否可通过基于场景上下文优化轨迹选择，进一步扩展以纳入场景特定约束？

主要发现

• PRANK 在 Argoverse 运动预测挑战赛（2020年6月排行榜）中取得前三名成绩，ADE@1 为 1.298 ± 0.001，FDE@1 为 1.298 ± 0.001，且未进行任何针对竞赛的调优。
• 即使使用更简单的场景表示，该方法仍优于 VectorNet 和 uulm-mrm 参赛模型，证明了基于排名方法的有效性。
• 使用另一数据集（内部数据集）构建的轨迹库在 Argoverse 上未提升性能，表明由于道路布局和行为的区域差异，存在分布偏移。
• 在单个 GPU 和 CPU 核心上，5 个智能体的推理延迟低于 200ms，其中场景编码为主要瓶颈；通过共享特征图，50 个智能体的计算成本显著降低，且性能损失可忽略。
• 排名和后处理步骤的推理时间极低——150 个结果的处理时间低于 3ms，使其非常适合实时部署。
• 该方法通过依赖真实、数据驱动的轨迹库，有效避免预测物理上不可能的轨迹，从而提升了下游规划模块的鲁棒性。