[论文解读] Argoverse: 3D Tracking and Forecasting with Rich Maps

Ming-Fang Chang, John Lambert+9 more|arXiv (Cornell University)|Nov 6, 2019

Autonomous Vehicle Technology and Safety参考文献 53被引用 157

一句话总结

Argoverse 引入两个大规模自动驾驶数据集——具有同步 LiDAR 与 360°立体成像加上丰富 HD 地图的 3D 跟踪，以及挖掘轨迹的运动预测——并证明 HD 地图上下文能提升 3D 跟踪和预测性能。

ABSTRACT

We present Argoverse -- two datasets designed to support autonomous vehicle machine learning tasks such as 3D tracking and motion forecasting. Argoverse was collected by a fleet of autonomous vehicles in Pittsburgh and Miami. The Argoverse 3D Tracking dataset includes 360 degree images from 7 cameras with overlapping fields of view, 3D point clouds from long range LiDAR, 6-DOF pose, and 3D track annotations. Notably, it is the only modern AV dataset that provides forward-facing stereo imagery. The Argoverse Motion Forecasting dataset includes more than 300,000 5-second tracked scenarios with a particular vehicle identified for trajectory forecasting. Argoverse is the first autonomous vehicle dataset to include "HD maps" with 290 km of mapped lanes with geometric and semantic metadata. All data is released under a Creative Commons license at www.argoverse.org. In our baseline experiments, we illustrate how detailed map information such as lane direction, driveable area, and ground height improves the accuracy of 3D object tracking and motion forecasting. Our tracking and forecasting experiments represent only an initial exploration of the use of rich maps in robotic perception. We hope that Argoverse will enable the research community to explore these problems in greater depth.

研究动机与目标

• 提供用于自动驾驶中 3D 对象跟踪和运动预测的大规模多模态数据。
• 引入 HD 地图组件（矢量车道中心线、地形高程、可行驶区域）并展示它们在感知任务中的用途。
• 提供跨多类别的真实三维轨迹注释，以及具有多样化、现实情景的预测基准。

提出的方法

• 发布两个数据集（3D Tracking 和 Motion Forecasting），包含同步的 LiDAR、360° RGB 视频、前置立体摄像头，以及 6-DoF 定位。
• 提供包含矢量车道图、栅格地形高程和栅格可行驶区域/感兴趣区域的 HD 地图。
• 在可行驶区域内对 15 个对象类别标注 3D 矩形框轨迹，距离范围为 5 m。
• 从 1006 小时数据中挖掘 5 s 的未来轨迹，创建一个大型预测基准（324,557 条序列）。
• 提供一个 API，将地图数据与传感器数据连接起来，以实现基于地图的感知与预测基线。

实验结果

研究问题

• RQ1 HD 地图信息（车道中心线、可行驶区域、地面高程）如何提升自动驾驶中的 3D 对象跟踪？
• RQ2 如何利用丰富的语义地图在复杂驾驶场景（交叉口、合流、密集交通）中改进运动预测？
• RQ3 基于地图的先验信息和多模态预测对跟踪精度和预测多样性的影响？
• RQ4 地图上下文如何影响预测模型中的地面去除、方向对齐和轨迹修剪？

主要发现

范围 (m)	MOTA	MOTP-D	MOTP-O	MOTP-I	备注
30	65.5	0.71	15.3	0.25	Map-based ground removal and orientation initialization at 30 m
50	50.0	0.81	13.5	0.26	Map-based ground removal and orientation initialization at 50 m
100	34.2	0.82	13.3	0.25	Map-based ground removal and orientation initialization at 100 m

• HD 地图上下文提升了 3D 跟踪的准确性，特别是在地面去除和方向与车道方向的一致性方面。
• 预测基准显示，地图派生的中心线和可行驶区域先验使未来轨迹多样且合理，并具有更高的可行驶区域合规性（DAC）。
• 纳入社会上下文和地图特征（中心线、车道偏移）的基线预测模型在多个预测时长（最长至 3 s）上实现更好的 minADE/minFDE 和 DAC。
• 数据集包含 113 个跟踪日志段（11,052 个注释对象）和 324,557 条五秒预测序列，便于对多模态预测进行丰富评估。
• 更大、更丰富的地图使地图自动化研究成为可能，并为基于 HD 地图的感知与预测方法提供基准。