[论文解读] LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion

Meet Shah, Zhiling Huang+6 more|arXiv (Cornell University)|Oct 1, 2020

Autonomous Vehicle Technology and SafetyEngineering被引用 17

一句话总结

LiRaNet 提出了一种端到端的轨迹预测模型，通过融合时空雷达数据与激光雷达和高清地图，提升了运动预测的准确性。通过利用雷达的径向速度和远距离探测能力，该方法在高加速度物体上将预测误差降低了52%，在远距离上降低了16%，在激光雷达数据稀疏的安全关键场景中优于仅使用激光雷达的基线方法。

ABSTRACT

In this paper, we present LiRaNet, a novel end-to-end trajectory prediction method which utilizes radar sensor information along with widely used lidar and high definition (HD) maps. Automotive radar provides rich, complementary information, allowing for longer range vehicle detection as well as instantaneous radial velocity measurements. However, there are factors that make the fusion of lidar and radar information challenging, such as the relatively low angular resolution of radar measurements, their sparsity and the lack of exact time synchronization with lidar. To overcome these challenges, we propose an efficient spatio-temporal radar feature extraction scheme which achieves state-of-the-art performance on multiple large-scale datasets.Further, by incorporating radar information, we show a 52% reduction in prediction error for objects with high acceleration and a 16% reduction in prediction error for objects at longer range.

研究动机与目标

• 解决在点云稀疏、高加速度或远距离探测场景下仅使用激光雷达进行轨迹预测的局限性。
• 克服雷达融合中的挑战，包括角分辨率低、点云稀疏、位置不确定性以及与激光雷达缺乏时间同步。
• 实现在自动驾驶中雷达与激光雷达及高清地图的早期融合，以提升运动预测性能。
• 在大规模数据集上展示最先进性能的同时，保持较低的推理延迟。

提出的方法

• 模型采用基于图的时空特征提取方法，将雷达点云序列融合为动态的鸟瞰图（BEV）网格表示。
• 通过k近邻搜索在每个网格单元内提取雷达特征，并利用可学习模块编码时空动态特性。
• 在特征层面将激光雷达和高清地图特征与雷达特征进行早期融合，实现对几何与动态信息的联合建模。
• 网络采用基于Transformer的主干网络聚合多传感器特征，并端到端预测未来轨迹。
• 通过CUDA优化的内核实现每个单元的雷达处理，以及使用TensorRT进行推理加速，实现运行时优化。
• 时间融合层设计用于处理最长0.5秒的可变长度雷达历史序列，同时对延迟影响最小化。

实验结果

研究问题

• RQ1 在复杂的真实驾驶场景中，雷达与激光雷达及高清地图的早期融合是否能提升轨迹预测性能？
• RQ2 在激光雷达点云稀疏的高加速度或远距离物体上，基于雷达的速度估计在多大程度上能提升预测准确性？
• RQ3 雷达在多模态轨迹预测中对模式模糊性解决的改善程度如何？
• RQ4 在端到端轨迹预测系统中引入雷达数据带来的延迟开销有多大？
• RQ5 在遮挡或点密度低的场景中，雷达是否能提升检测性能？

主要发现

• 与仅使用激光雷达的基线相比，LiRaNet在高加速度物体上的轨迹预测误差降低了52%。
• 在远距离物体上，预测误差降低了16%，这些物体的激光雷达点密度较低。
• 加入雷达后，检测性能得到提升，在nuScenes数据集上AP0.5提高了7.57个百分点，在X17k数据集上提高了2.30个百分点。
• 即使包含长达0.5秒的雷达历史，加入雷达的运行时延迟仅增加3.5毫秒（从38.02毫秒增至40.98毫秒），影响极小。
• 定性结果表明，雷达显著提升了在遮挡、高速和点密度低场景下的预测性能。
• 雷达的引入解决了多模态预测中的模式模糊性，减少了诸如不安全变道或突然转向等错误轨迹假设。