[论文解读] CAR-Net: Clairvoyant Attentive Recurrent Network

Amir Sadeghian, Ferdinand Legros+4 more|arXiv (Cornell University)|Nov 28, 2017

Autonomous Vehicle Technology and Safety参考文献 38被引用 7

一句话总结

CAR-Net 是一种新颖的基于注意力的深度学习框架，通过联合建模过去运动轨迹和鸟瞰场景图像来预测智能体轨迹，采用单源注意力和多源注意力动态聚焦于显著的空间区域。它在斯坦福无人机数据集上实现了最先进性能，并通过可视化关注相关场景元素（如道路弯道）展现出强大的可解释性。

ABSTRACT

We present an interpretable framework for path prediction that leverages dependencies between agents' behaviors and their spatial navigation environment. We exploit two sources of information: the past motion trajectory of the agent of interest and a wide top-view image of the navigation scene. We propose a Clairvoyant Attentive Recurrent Network (CAR-Net) that learns where to look in a large image of the scene when solving the path prediction task. Our method can attend to any area, or combination of areas, within the raw image (e.g., road intersections) when predicting the trajectory of the agent. This allows us to visualize fine-grained semantic elements of navigation scenes that influence the prediction of trajectories. To study the impact of space on agents' trajectories, we build a new dataset made of top-view images of hundreds of scenes (Formula One racing tracks) where agents' behaviors are heavily influenced by known areas in the images (e.g., upcoming turns). CAR-Net successfully attends to these salient regions. Additionally, CAR-Net reaches state-of-the-art accuracy on the standard trajectory forecasting benchmark, Stanford Drone Dataset (SDD). Finally, we show CAR-Net's ability to generalize to unseen scenes.

研究动机与目标

• 通过将原始鸟瞰图像中的静态场景上下文与智能体运动历史相结合，提升轨迹预测性能。
• 开发一种可解释的注意力机制，识别影响轨迹预测的视觉区域。
• 通过使用受控的赛车道数据集，将环境几何结构的影响与智能体间相互作用的影响解耦。
• 评估模型在未见环境中的泛化能力以及在轨迹输入扰动下的鲁棒性。

提出的方法

• CAR-Net 使用双注意力机制：单源注意力聚焦于图像的局部区域，而多源注意力则聚合整个图像的特征。
• 模型通过循环网络（GRU）处理过去的智能体轨迹，并将它们与卷积神经网络主干网络提取的场景特征进行融合。
• 视觉注意力通过可微分注意力模块计算，根据对未来的轨迹预测的相关性，关注鸟瞰图像中的空间位置。
• 该架构通过晚期融合方式结合智能体运动与场景上下文，实现对智能体-空间依赖关系的联合推理。
• 创建了一个包含 200 多条一级方程式赛车道的新数据集，车辆沿由赛道几何结构决定的最优路径行驶，从而实现对智能体-空间相互作用的受控研究。
• 模型通过在未来的轨迹预测上使用均方误差损失进行端到端训练。

实验结果

研究问题

• RQ1 深度学习模型能否有效关注原始鸟瞰图像中的相关空间区域，从而提升轨迹预测性能？
• RQ2 模型在导航过程中在多大程度上利用了如前方弯道等几何场景线索？
• RQ3 单源注意力与多源注意力的结合如何提升预测准确率与可解释性？
• RQ4 模型能否泛化到未见过的环境，并在智能体轨迹输入存在扰动时保持鲁棒性？

主要发现

• CAR-Net 在斯坦福无人机数据集（SDD）上实现了最先进性能，其轨迹预测准确率优于以往方法。
• 该模型成功关注到赛车道数据集中如前方弯道等显著区域，证明其具备理解场景语义的能力。
• 在 SDD 上，多源注意力扩散到多个相关区域，而单源注意力则聚焦于智能体前方的区域，表明其具备自适应注意力行为。
• 模型在未见场景中表现出良好的泛化能力，即使在新环境中测试，也能保持准确的预测。
• 当过去轨迹受到强烈扰动（如将智能体放置在道路外）时，CAR-Net 仍能恢复并预测出稳定且沿道路对齐的未来路径。
• 定性分析表明，注意力图与物理上有意义的场景元素（如弯道）对齐，验证了模型的可解释性。