[论文解读] Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization

Eason Wang, Henggang Cui+4 more|arXiv (Cornell University)|Apr 14, 2020

Autonomous Vehicle Technology and Safety参考文献 36被引用 7

一句话总结

本文提出了一种基于生成对抗网络的新型架构——场景合规生成对抗网络（Scene-Compliant GAN, SC-GAN），用于鸟瞰图交通运动预测。该方法利用可微轨迹栅格化器将生成的轨迹投影到栅格空间，实现场景合规的轨迹生成。通过简化判别器的任务并实现梯度反传至生成器，该方法在真实世界数据上优于当前最先进的基于GAN的基线模型，显著提升了预测的准确性和真实性。

ABSTRACT

One of the most critical pieces of the self-driving puzzle is the task of predicting future movement of surrounding traffic actors, which allows the autonomous vehicle to safely and effectively plan its future route in a complex world. Recently, a number of algorithms have been proposed to address this important problem, spurred by a growing interest of researchers from both industry and academia. Methods based on top-down scene rasterization on one side and Generative Adversarial Networks (GANs) on the other have shown to be particularly successful, obtaining state-of-the-art accuracies on the task of traffic movement prediction. In this paper we build upon these two directions and propose a raster-based conditional GAN architecture, powered by a novel differentiable rasterizer module at the input of the conditional discriminator that maps generated trajectories into the raster space in a differentiable manner. This simplifies the task for the discriminator as trajectories that are not scene-compliant are easier to discern, and allows the gradients to flow back forcing the generator to output better, more realistic trajectories. We evaluated the proposed method on a large-scale, real-world data set, showing that it outperforms state-of-the-art GAN-based baselines.

研究动机与目标

• 提升自动驾驶系统中交通参与者未来运动预测的逼真度与场景合规性。
• 解决现有基于GAN的模型常生成违反地图与物理约束轨迹的局限性。
• 通过将预测轨迹可微地投影到栅格空间，简化判别器的任务。
• 增强从判别器到生成器的梯度流动，从而生成更逼真且符合场景的轨迹输出。
• 在大规模真实世界自动驾驶数据集上评估所提方法，证明其在性能上优于当前最先进的方法。

提出的方法

• 模型采用基于鸟瞰图（BEV）环境场景栅格表示的条件生成对抗网络架构。
• 引入一种新颖的可微栅格化模块，将生成的轨迹投影到栅格空间，使梯度能够反向传播至生成器。
• 判别器同时依赖场景上下文图像和栅格化轨迹占用图，以评估轨迹的场景合规性。
• 生成器生成未来轨迹，随后通过可微栅格化处理，并与判别器中的真实轨迹图进行比较。
• 判别器采用深度卷积生成对抗网络（DCGAN）架构，用于区分真实与生成的轨迹图，其中可微栅格化器支持有效的反向传播。
• 训练目标结合对抗损失与感知损失，以提升轨迹的逼真度与准确性。

实验结果

研究问题

• RQ1 可微轨迹栅格化器是否能提升鸟瞰图模型中基于GAN的运动预测的逼真度与场景合规性？
• RQ2 将判别器条件设置为栅格化轨迹是否能提升生成运动预测的质量与一致性？
• RQ3 所提出的SC-GAN模型在轨迹准确率与场景合规性方面相较于当前最先进的基于GAN的基线模型表现如何？
• RQ4 使用MobileNet或单通道聚合等架构选择对模型性能有何影响？
• RQ5 可微栅格化器是否能实现更优的梯度流动，提升运动预测GAN的训练稳定性？

主要发现

• SC-GAN在100米预测时域内达到最低最终误差（1.20 m），显著优于次佳基线模型GAN-concat-scene（误差为4.61 m）。
• 该模型将场景合规误差降低至0.58 m，表明预测轨迹与地图及车道约束高度一致。
• 消融实验表明，SC-GAN -no-scene（判别器中省略场景上下文）的误差为1.20 m，显著高于完整SC-GAN模型。
• SC-GAN -1channel（对轨迹通道使用最大值聚合）的ℓ₂误差高达3.52 m，且因判别器判别能力差，生成了杂乱或静止的轨迹。
• SC-GAN -MNet（判别器中使用MobileNet）性能低于标准DCGAN架构的判别器，表明DCGAN在稳定性和梯度质量方面更具优势。
• 定性分析表明，SC-GAN能正确预测交叉路口的左转与右转，而GAN-concat-scene常生成非合规轨迹，如跨线行驶或方向错误的转向。