[论文解读] Exploring Map-based Features for Efficient Attention-based Vehicle Motion Prediction

Carlos Gómez-Huélamo, Marcos V. Conde+1 more|arXiv (Cornell University)|May 25, 2022

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出了一种高效、基于注意力机制的运动预测模型，利用可解释的基于地图的特征（如可行驶区域和目标点）代替复杂的卷积神经网络（CNN）来处理高清（HD）地图。通过使用最少的地图信息和轻量级架构，该方法在Argoverse 1.0基准上实现了具有竞争力的性能，同时显著降低了浮点运算次数（FLOPs），从而实现更快的推理速度，并更适用于自动驾驶系统中实时边缘部署。

ABSTRACT

Motion prediction (MP) of multiple agents is a crucial task in arbitrarily complex environments, from social robots to self-driving cars. Current approaches tackle this problem using end-to-end networks, where the input data is usually a rendered top-view of the scene and the past trajectories of all the agents; leveraging this information is a must to obtain optimal performance. In that sense, a reliable Autonomous Driving (AD) system must produce reasonable predictions on time, however, despite many of these approaches use simple ConvNets and LSTMs, models might not be efficient enough for real-time applications when using both sources of information (map and trajectory history). Moreover, the performance of these models highly depends on the amount of training data, which can be expensive (particularly the annotated HD maps). In this work, we explore how to achieve competitive performance on the Argoverse 1.0 Benchmark using efficient attention-based models, which take as input the past trajectories and map-based features from minimal map information to ensure efficient and reliable MP. These features represent interpretable information as the driveable area and plausible goal points, in opposition to black-box CNN-based methods for map processing.

研究动机与目标

• 解决现有基于注意力机制的运动预测模型在处理高清地图时依赖计算量大的卷积神经网络（CNN）所导致的效率低下问题。
• 提升模型效率，减少推理时间，以实现自动驾驶系统中边缘设备的实时部署。
• 探究是否可以使用可解释的、手工设计的地图特征（如可行驶区域、目标点）替代黑箱式的基于CNN的地图编码器，而无需牺牲性能。
• 在Argoverse 1.0基准上实现具有竞争力的运动预测精度，同时最小化FLOPs和模型复杂度。
• 为当前运动预测中的高清地图处理流程提供一种轻量级、可解释的替代方案。

提出的方法

• 模型采用轻量级注意力机制，处理历史代理轨迹和基于地图的特征，避免端到端的基于CNN的地图编码。
• 基于地图的特征通过专用的、不可微分的特征提取器提取，输出可解释的元素，如可行的可行驶区域和潜在的目标点。
• 将这些特征作为先验知识整合进注意力机制中，从而在不增加模型复杂度的前提下提升预测精度。
• 从最少的高清地图数据（包括车道中心线和交叉口）构建一组地图特征，以高效表示物理上下文。
• 架构结合LSTM或Set Transformer编码器与多头自注意力机制，用于建模代理与地图元素之间的交互。
• 通过避免使用深层CNN进行地图处理，并改用稀疏、结构化的地图表示，从而最小化FLOPs。

实验结果

研究问题

• RQ1 在保持具有竞争力性能的前提下，可解释的手工设计地图特征能否替代深度CNN-based地图编码器用于运动预测？
• RQ2 使用最少的高清地图信息在多大程度上影响运动预测模型的推理效率和预测精度？
• RQ3 轻量级基于注意力的模型在FLOPs显著降低的情况下，能在Argoverse 1.0基准上实现多大程度的最先进性能？
• RQ4 集成可解释的地图先验（如目标点、可行驶区域）是否能提升模型的泛化能力与可解释性？
• RQ5 当用基于特征的地图表示替代基于CNN的地图编码器时，模型效率（FLOPs）与预测性能之间的权衡如何？

主要发现

• 所提模型在Argoverse 1.0基准上实现了具有竞争力的性能，最终误差为0.558 m（Ade）和1.281 m（Fde），与最先进方法相当。
• 与基于CNN的地图编码器相比，该模型所需的FLOPs显著减少，相比ResNet18基线模型最多降低50%。
• 在FLOP效率方面，该模型优于VectorNet及其他图神经网络模型，尤其在代理数量较少时表现更优，同时保持了相近的预测精度。
• 使用可解释的地图特征（如目标点、可行驶区域）提升了预测的可靠性与可解释性，且未增加模型复杂度。
• 定性结果表明，该模型在具有多个代理和复杂道路拓扑的复杂城市场景中表现出鲁棒性。
• 尽管效率有所提升，但基于LSTM的变体仍不具备并行化能力，提示未来需探索更快速的注意力机制（如Set Transformers）。