[论文解读] Cooper: Cooperative Perception for Connected Autonomous Vehicles based on 3D Point Clouds

Qi Chen, Sihai Tang+2 more|arXiv (Cornell University)|May 13, 2019

Autonomous Vehicle Technology and Safety参考文献 21被引用 12

一句话总结

Cooper 提出了一种面向联网自动驾驶汽车的协作感知框架，通过融合多辆汽车的原始3D激光雷达点云数据，提升3D目标检测性能。通过基于深度学习的SPOD方法对来自不同视角的点云进行对齐与融合，Cooper 提高了检测精度并扩展了感知范围，其在DSRC车载网络上的可行性已得到验证。

ABSTRACT

Autonomous vehicles may make wrong decisions due to inaccurate detection and recognition. Therefore, an intelligent vehicle can combine its own data with that of other vehicles to enhance perceptive ability, and thus improve detection accuracy and driving safety. However, multi-vehicle cooperative perception requires the integration of real world scenes and the traffic of raw sensor data exchange far exceeds the bandwidth of existing vehicular networks. To the best our knowledge, we are the first to conduct a study on raw-data level cooperative perception for enhancing the detection ability of self-driving systems. In this work, relying on LiDAR 3D point clouds, we fuse the sensor data collected from different positions and angles of connected vehicles. A point cloud based 3D object detection method is proposed to work on a diversity of aligned point clouds. Experimental results on KITTI and our collected dataset show that the proposed system outperforms perception by extending sensing area, improving detection accuracy and promoting augmented results. Most importantly, we demonstrate it is possible to transmit point clouds data for cooperative perception via existing vehicular network technologies.

研究动机与目标

• 解决孤立自动驾驶汽车因传感器盲区和识别失败而导致的遮挡或远距离目标检测受限问题。
• 通过利用原始传感器数据的低层级融合，克服高层级融合的不足，以保留检测灵敏度与冗余性。
• 通过联网汽车间的数据共享实现协作感知，提升情境感知能力并减少检测失败。
• 证明在现有车载网络（如DSRC）上传输原始3D点云数据的可行性，确保带宽可用性。

提出的方法

• 收集并交换在不同空间配置下运行的联网自动驾驶汽车的原始3D激光雷达点云数据。
• 利用几何变换与空间对应关系，将多辆汽车的点云对齐并注册到统一坐标系中。
• 在对齐并融合后的点云上应用基于深度学习的3D目标检测模型（SPOD），以提升检测精度。
• 设计一种带宽感知的传输策略，根据车辆相对位置与场景复杂度优先进行数据交换。
• 实现一种协作感知流水线，动态选择最具信息量的点云区域（ROI）进行传输，以降低数据负载。
• 采用基于DSRC的通信协议，评估在实际车载网络约束下点云传输的真实可行性。

实验结果

研究问题

• RQ1 与单辆汽车感知相比，联网汽车之间原始3D激光雷达点云融合是否能显著提升3D目标检测精度？
• RQ2 在不超出带宽限制的前提下，是否可行将原始激光雷达点云数据通过现有车载通信网络（如DSRC）进行传输？
• RQ3 协作感知如何扩展有效感知范围，并在遮挡或盲区场景中恢复先前未被检测到的目标？
• RQ4 不同协作数据交换场景（如并排行驶、前后跟随、十字路口）的带宽成本如何？是否可在DSRC容量范围内管理？

主要发现

• Cooper 通过扩展有效感知区域，提升了3D目标检测性能，使原本被单个车辆视角遮挡的目标得以检测。
• 该系统通过协作融合成功检测到原本未被发现的目标，尤其在遮挡和盲区场景中表现显著。
• 最耗带宽的数据传输场景（并排行驶车辆）每帧约需1.8 Mbit，仍在DSRC车载网络的容量范围内。
• 单向数据交换（如后方车辆接收前方车辆数据）带宽消耗最低，最适用于实时部署。
• 该框架证明了在现有DSRC基础设施上共享原始激光雷达数据的可行性，支持真实环境下协作感知的实现。
• 隐私得到保护，仅共享激光雷达数据，避免了敏感图像或视频内容的传输。