[论文解读] BAAI-VANJEE Roadside Dataset: Towards the Connected Automated Vehicle Highway technologies in Challenging Environments of China

Yongqiang Deng, Dengjiang Wang+7 more|arXiv (Cornell University)|May 29, 2021

Advanced Neural Network Applications参考文献 12被引用 15

一句话总结

本论文介绍了BAAI-VANJEE路边数据集，这是一个在中国路边智能基站在真实环境中采集的大规模数据集，包含2,500帧LiDAR数据和5,000帧RGB图像，涵盖12个类别，共74K个3D目标和105K个2D目标标注。该数据集支持在多种天气和光照条件下进行先进的2D/3D目标检测及多传感器融合研究，其3D目标检测性能尤为突出，尤其在汽车检测方面达到88.62%的平均精度（AP），显著优于在COCO上预训练的模型。

ABSTRACT

As the roadside perception plays an increasingly significant role in the Connected Automated Vehicle Highway(CAVH) technologies, there are immediate needs of challenging real-world roadside datasets for bench marking and training various computer vision tasks such as 2D/3D object detection and multi-sensor fusion. In this paper, we firstly introduce a challenging BAAI-VANJEE roadside dataset which consist of LiDAR data and RGB images collected by VANJEE smart base station placed on the roadside about 4.5m high. This dataset contains 2500 frames of LiDAR data, 5000 frames of RGB images, including 20% collected at the same time. It also contains 12 classes of objects, 74K 3D object annotations and 105K 2D object annotations. By providing a real complex urban intersections and highway scenes, we expect the BAAI-VANJEE roadside dataset will actively assist the academic and industrial circles to accelerate the innovation research and achievement transformation in the field of intelligent transportation in big data era.

研究动机与目标

• 为解决在复杂真实环境中缺乏公开、高质量的路边感知数据集以支持联网自动驾驶车辆高速公路（CAVH）技术的问题。
• 利用真实路边数据，支持2D/3D目标检测和多传感器融合模型的开发与基准测试。
• 提供涵盖不同天气、昼夜时段和交通状况的多样化、高质量标注，以提升模型的鲁棒性。
• 通过提供公开可用、大规模的数据集，加速智能交通系统领域的创新，服务于学术界与工业界的研究。

提出的方法

• 在4.5米高处部署了一套路边VANJEE智能基站，配备360°旋转的32线LiDAR和四个视场角为90°的网络摄像头，实现同步数据采集。
• 在晴天、多云、雨天、白天和夜晚等条件下，采集了2,500帧LiDAR数据和5,000帧RGB图像，传感器间时间对齐率达20%。
• 对12个物体类别（包括三轮车和特种车辆等在中国常见但罕见的交通实体）进行了完全人工、高精度的3D和2D边界框标注。
• 设计了标准化的1,000帧LiDAR验证集，涵盖多样化的环境条件，以实现对3D目标检测模型的公平评估。
• 使用相同的预训练权重，在COCO和BAAI-VANJEE两个数据集上对SA-SSD模型进行训练与评估，以比较性能差异。
• 采用严格的数据筛选标准，重点关注视频质量、场景多样性及信息安全，以确保数据集的可靠性与实用性。

实验结果

研究问题

• RQ1 在不同环境条件下，基于路边的感知系统与车载感知系统在目标检测性能上相比如何？
• RQ2 与通用数据集（如COCO）相比，一个具有高质量、多模态标注的公开路边数据集是否能显著提升3D目标检测性能？
• RQ3 路边LiDAR的超视距感知能力相比车载传感器，在检测远距离或被遮挡目标方面有多大优势？
• RQ4 不同天气和光照条件如何影响在路边数据上训练的2D和3D目标检测模型的性能？
• RQ5 详细且涵盖多类别的标注（包括三轮车和特种车辆等稀有类别）对模型在真实中国交通环境中的泛化能力有何影响？

主要发现

• BAAI-VANJEE数据集在汽车3D目标检测上达到88.62%的平均精度（AP），显著优于在COCO上预训练并在BAAI-VANJEE上评估时获得的64.54% AP，证明了其在领域特定适应中的价值。
• 在自行车检测方面，模型在BAAI-VANJEE上达到76.12% AP，而在COCO上仅为13.42%，表明该数据集在捕捉小尺寸或高速移动目标方面的有效性。
• 行人检测性能从COCO上的4.55% AP大幅提升至BAAI-VANJEE上的63% AP，凸显了该数据集在复杂场景中检测小尺寸、低可见度目标方面的实用性。
• 数据集中包含37.42%的晴天、11.53%的多云、27.88%的夜间和23.17%的雨天数据，确保了在多样天气和光照条件下的强泛化能力。
• BAAI-VANJEE中每帧的物体数量显著高于KITTI，尤其是在距离LiDAR超过20米的区域，证实了路边感知的超视距优势。
• LiDAR数据中汽车的尺寸分布具有现实范围（高度：1.2–2.0米，宽度：1.5–2.2米，长度：3.5–5.5米），支持精确的3D目标检测与定位。