[论文解读] A9 Intersection Dataset: All You Need for Urban 3D Camera-LiDAR Roadside Perception

Walter Zimmer, Christian Creß+2 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Neural Network Applications被引用 5

一句话总结

A9 Intersection Dataset 提供了 4.8k 个同步的、高质量的 3D 标注激光雷达点云与相机图像，从道路旁视角捕捉复杂城市交叉路口场景，涵盖 10 个物体类别共 57.4k 个手动标注的 3D 边界框。该数据集通过校准的多传感器融合，支持先进的 3D 感知研究，为单目、激光雷达及多模态 3D 目标检测提供最先进基线，其中晚期融合在遮挡和远距离检测等挑战性场景中表现更优。

ABSTRACT

Intelligent Transportation Systems (ITS) allow a drastic expansion of the visibility range and decrease occlusions for autonomous driving. To obtain accurate detections, detailed labeled sensor data for training is required. Unfortunately, high-quality 3D labels of LiDAR point clouds from the infrastructure perspective of an intersection are still rare. Therefore, we provide the A9 Intersection Dataset, which consists of labeled LiDAR point clouds and synchronized camera images. Here, we recorded the sensor output from two roadside cameras and LiDARs mounted on intersection gantry bridges. The point clouds were labeled in 3D by experienced annotators. Furthermore, we provide calibration data between all sensors, which allow the projection of the 3D labels into the camera images and an accurate data fusion. Our dataset consists of 4.8k images and point clouds with more than 57.4k manually labeled 3D boxes. With ten object classes, it has a high diversity of road users in complex driving maneuvers, such as left and right turns, overtaking, and U-turns. In experiments, we provided multiple baselines for the perception tasks. Overall, our dataset is a valuable contribution to the scientific community to perform complex 3D camera-LiDAR roadside perception tasks. Find data, code, and more information at https://a9-dataset.com.

研究动机与目标

• 为解决城市交叉路口场景中高质量、道路旁视角的 3D 激光雷达与相机数据集稀缺、标注丰富的问题。
• 提供一个全面、校准良好且多样化的数据集，以支持智能交通系统中复杂的 3D 感知任务。
• 通过同步的激光雷达、相机和 3D 边界框标注（含轨迹 ID），实现对多模态 3D 目标检测的稳健评估。
• 在现有 A9 数据集基础上，新增包含弱势道路使用者的交叉路口交通场景，并提升标注质量。

提出的方法

• 使用安装在真实城市交叉路口龙门架上的两台道路旁相机和多个激光雷达采集数据。
• 由经验丰富的标注人员在激光雷达点云上手动标注 3D 边界框，涵盖 U 型转弯、超车和转向等复杂操作。
• 计算所有传感器之间的外参标定矩阵，以实现精确的 3D 到 2D 投影及多传感器融合。
• 实现三种感知基线：MonoDet3D（单目 3D 检测）、PointPillars（基于激光雷达的检测）以及 InfraDet3D（相机与激光雷达检测的晚期融合）。
• InfraDet3D 模型使用匈牙利算法匹配 MonoDet3D 和 PointPillars 的检测结果，实现基于置信度的融合。
• 在 A9-Devkit 中发布后处理脚本，以支持不同视场角配置下的数据裁剪与早期融合实验。

Figure 1 : Two cameras and two LiDARs are used to create the A9 Intersection Dataset. The sensors are mounted on a sign gantry and thus record the central intersection area. Then, the Data Fusion Unit (DFU) process the data streams, which results in a fused digital twin of the road traffic. Furtherm

实验结果

研究问题

• RQ1 在复杂城市交叉路口场景中，使用相机与激光雷达的多模态 3D 目标检测相较于单模态检测表现如何？
• RQ2 在不同难度等级下，单目相机与激光雷达检测器之间的晚期融合在 mAP 上带来了多大性能提升？
• RQ3 遮挡、距离和点云密度如何影响道路旁 3D 感知中的检测性能？
• RQ4 具有高质量 3D 标注的校准多传感器数据集是否能提升真实城市环境中 3D 目标检测模型的鲁棒性？
• RQ5 在小物体和低光照条件下，基于相机的检测与基于激光雷达的检测各自有何相对优势？

主要发现

• InfraDet3D 晚期融合模型实现了最高的总体 mAP，表明结合相机与激光雷达检测可显著提升检测性能。
• 在 Easy 困难等级中，LiDAR_North 模态取得了最佳 mAP，凸显了激光雷达在远距离和低遮挡场景中的优势。
• 采用早期融合的 PointPillars 在 Moderate 困难等级中表现最佳，表明其对部分遮挡和中距离物体具有强鲁棒性。
• MonoDet3D 在检测小物体（如行人）方面表现更优，凸显了单目视觉在解析细节方面的优势。
• 早期融合（激光雷达 + 相机）与晚期融合（InfraDet3D）的结合在所有难度等级中均表现出一致的鲁棒性，证明了多传感器协同的价值。
• 该数据集包含 10 个多样化类别共 57.4k 个 3D 标注，涵盖弱势道路使用者，可全面评估复杂城市交通场景中感知系统的性能。

Figure 2 : The A9-I Dataset consists of $38,045$ 3D box labels after data fusion, where the CAR class is dominant and $78.2\%$ of the objects are occlusion-free. The 3D box labels show different rotations, which is due to the road traffic in an intersection.