[论文解读] Diverse Sampling for Normalizing Flow Based Trajectory Forecasting.

Yecheng Jason, Jeevana Priya Inala+2 more|arXiv (Cornell University)|Nov 30, 2020

Autonomous Vehicle Technology and Safety参考文献 11被引用 11

一句话总结

本文提出多样性采样流（Diversity Sampling for Flow, DSF），一种方法，可在单次前向传播中从预训练的归一化流模型生成多样且高似然的轨迹集合。通过同时优化单个轨迹的似然性和轨迹间的空间分离度，DSF 提升了样本质量与多样性，在车辆与行人轨迹预测基准上达到最先进性能。

ABSTRACT

For autonomous cars to drive safely and effectively, they must anticipate the stochastic future trajectories of other agents in the scene, such as pedestrians and other cars. Forecasting such complex multi-modal distributions requires powerful probabilistic approaches. Normalizing flows have recently emerged as an attractive tool to model such distributions. However, when generating trajectory predictions from a flow model, a key drawback is that independent samples often do not adequately capture all the modes in the underlying distribution. We propose Diversity Sampling for Flow (DSF), a method for improving the quality and the diversity of trajectory samples from a pre-trained flow model. Rather than producing individual samples, DSF produces a set of trajectories in one shot. Given a pre-trained forecasting flow model, we train DSF using gradients from the model, to optimize an objective function that rewards high likelihood for individual trajectories in the predicted set, together with high spatial separation between trajectories. DSF is easy to implement, and we show that it offers a simple plug-in improvement for several existing flow-based forecasting models, achieving state-of-art results on two challenging vehicle and pedestrian forecasting benchmarks.

研究动机与目标

• 为解决从归一化流中独立采样时往往无法覆盖多模态轨迹分布中所有模式的局限性。
• 在不微调底层流模型的前提下，提升轨迹预测的多样性和质量。
• 开发一种即插即用的方法，以极低的实现开销增强现有基于流的预测模型。
• 同时优化单个轨迹的高似然性与预测轨迹之间的空间分离度。
• 在车辆与行人轨迹预测的复杂多模态基准上实现最先进性能。

提出的方法

• DSF 在一次前向传播中生成轨迹集合，而非独立采样轨迹。
• 其优化一个可微分的目标函数，该函数结合了集合中每个轨迹的对数似然与基于空间分离度的多样性正则化项。
• 多样性项促使集合中的轨迹在空间上彼此分离，从而确保覆盖底层分布中的多个模式。
• 该方法利用预训练流模型的梯度，端到端训练 DSF，实现对轨迹集合的高效优化。
• 优化过程采用随机梯度下降，目标函数通过流模型的似然计算路径保持可微。
• DSF 兼容任意预训练的归一化流模型，可作为即插即用的推理时模块应用。

实验结果

研究问题

• RQ1 后处理采样方法是否能提升预训练归一化流模型生成的轨迹预测的多样性和质量？
• RQ2 如何在保持流模型高似然性的前提下，优化预测轨迹之间的空间分离度？
• RQ3 联合优化似然性与多样性是否能提升在多模态轨迹预测基准上的性能？
• RQ4 DSF 是否可作为即插即用方案应用于现有基于流的模型而无需重新训练？
• RQ5 DSF 对车辆与行人轨迹预测中的最先进性能有何影响？

主要发现

• DSF 通过生成轨迹间具有更高空间分离度的集合，显著提升了轨迹预测的多样性。
• 该方法在 nuScenes 与 Waymo Open Motion 轨迹预测基准上均达到最先进性能。
• DSF 通过提升集合中轨迹的似然性，同时保持对多个模式的覆盖，从而增强了预测质量。
• 该方法作为即插即用的推理时模块非常有效，无需对底层流模型进行微调。
• 消融实验确认，目标函数中的似然项与多样性项均对性能提升有贡献。
• 结果表明，对似然性与多样性的联合优化能更好地泛化于复杂且多模态的轨迹分布。