[论文解读] Multi-modal anticipation of stochastic trajectories in a dynamic environment with Conditional Variational Autoencoders

Albert Dulian, John C. Murray|arXiv (Cornell University)|Mar 5, 2021

Autonomous Vehicle Technology and Safety参考文献 45被引用 6

一句话总结

本文提出一种基于胶囊网络（CapsNet）主干的条件变分自编码器（C-VAE），用于在动态环境中进行多模态、随机轨迹预测。通过条件化于过去代理运动和栅格化场景上下文，该模型生成多样化且逼真的未来轨迹，在nuScenes数据集上优于最先进方法，实现更低的minADE和minFDE，同时显著减少模型参数量。

ABSTRACT

Forecasting short-term motion of nearby vehicles presents an inherently challenging issue as the space of their possible future movements is not strictly limited to a set of single trajectories. Recently proposed techniques that demonstrate plausible results concentrate primarily on forecasting a fixed number of deterministic predictions, or on classifying over a wide variety of trajectories that were previously generated using e.g. dynamic model. This paper focuses on addressing the uncertainty associated with the discussed task by utilising the stochastic nature of generative models in order to produce a diverse set of plausible paths with regards to tracked vehicles. More specifically, we propose to account for the multi-modality of the problem with use of Conditional Variational Autoencoder (C-VAE) conditioned on an agent's past motion as well as a rasterised scene context encoded with Capsule Network (CapsNet). In addition, we demonstrate advantages of employing the Minimum over N (MoN) cost function which measures the distance between ground truth and N generated samples and tries to minimise the loss with respect to the closest sample, effectively leading to more diverse predictions. We examine our network on a publicly available dataset against recent state-of-the-art methods and show that our approach outperforms these techniques in numerous scenarios whilst significantly reducing the number of trainable parameters as well as allowing to sample an arbitrary amount of diverse trajectories.

研究动机与目标

• 解决在复杂城市环境中未来路径不确定且多样的多模态、随机轨迹预测挑战。
• 通过用CapsNet替代标准CNN来提升泛化能力和鲁棒性，以编码鸟瞰图场景上下文，实现更好的等变性和空间特征表示。
• 利用随机生成模型生成大量多样化且合理的未来轨迹，避免先前方法在确定性或固定输出方面的局限。
• 评估最小N项（MoN）损失函数在促进多样性并提升预测准确率方面的有效性。
• 通过最小化可训练参数数量来降低模型复杂度，同时保持或提升性能。

提出的方法

• 该模型使用条件变分自编码器（C-VAE）生成基于代理过去运动和栅格化鸟瞰图场景表示的随机未来轨迹。
• 场景上下文通过胶囊网络（CapsNet）编码，通过建模物体姿态和实例化参数来学习等变的、具有空间结构的特征，从而提升对视角变化的鲁棒性。
• 全局和局部地图表示被处理为几何层以保留空间结构，代理位置在局部地图块中被准确定位。
• 模型使用最小N项（MoN）损失函数进行训练，该损失函数最小化真实轨迹与N个生成样本中最近者之间的距离，从而促进预测的多样性。
• 主干特征提取器采用轻量级CapsNet架构，相比标准ResNet-50基模型，显著减少了可训练参数数量。
• 推理阶段，模型可采样任意数量的多样化轨迹，支持在安全分析或数据增强等下游任务中的灵活应用。

实验结果

研究问题

• RQ1 胶囊网络能否有效编码用于轨迹预测的鸟瞰图栅格化场景上下文，相比标准CNN在泛化能力和空间感知方面表现更优？
• RQ2 与确定性或固定输出模型相比，使用结合MoN损失的随机C-VAE框架是否能生成更丰富多样且更准确的多模态轨迹预测？
• RQ3 基于CapsNet的主干结构是否能在保持或提升轨迹预测基准性能的同时，降低模型复杂度？
• RQ4 采样轨迹数量如何影响预测准确率？MoN损失函数在不同采样规模下是否始终提升性能？
• RQ5 所提方法在具有高不确定性与多模态特性的复杂城市环境中，其泛化能力如何？

主要发现

• 当采样128或256条轨迹时，所提方法的最小平均位移误差（minADE）约为0.40，表明具有出色的预测精度。
• 当采样200条轨迹时，模型达到约0.17的最小最终位移误差（minFDE），表明在长期轨迹预测中具有高精度。
• 在多种指标上，该模型优于或匹配最先进方法（如MTP和CoverNet），尤其在采样多条轨迹时表现更优。
• MoN损失函数显著提升了预测多样性与性能，最高采样率（k > 2^9）下观察到最低误差。
• 基于CapsNet的主干结构相比ResNet-50基模型显著减少了可训练参数数量，缓解了过拟合，提升了泛化能力。
• 该模型不限于固定数量的输出，可生成任意数量的多样化、合理轨迹，区别于确定性或固定模式模型。