[论文解读] COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles

Jiaxun Cui, Hang Qiu+3 more|arXiv (Cornell University)|May 4, 2022

Advanced Optical Sensing Technologies被引用 9

一句话总结

Coopernaut 提出了一种端到端的、基于视觉的协同驾驶模型，通过 V2V 通信信道传输紧凑的、具备空间感知能力的激光雷达表示，以突破视线限制，增强感知能力。该模型在易发生事故的情境下，成功率比自车中心模型高出 40%，且相比先前工作，带宽使用减少 5 倍，展示了在真实无线环境约束和可变交通密度下的鲁棒性能。

ABSTRACT

Optical sensors and learning algorithms for autonomous vehicles have dramatically advanced in the past few years. Nonetheless, the reliability of today's autonomous vehicles is hindered by the limited line-of-sight sensing capability and the brittleness of data-driven methods in handling extreme situations. With recent developments of telecommunication technologies, cooperative perception with vehicle-to-vehicle communications has become a promising paradigm to enhance autonomous driving in dangerous or emergency situations. We introduce COOPERNAUT, an end-to-end learning model that uses cross-vehicle perception for vision-based cooperative driving. Our model encodes LiDAR information into compact point-based representations that can be transmitted as messages between vehicles via realistic wireless channels. To evaluate our model, we develop AutoCastSim, a network-augmented driving simulation framework with example accident-prone scenarios. Our experiments on AutoCastSim suggest that our cooperative perception driving models lead to a 40% improvement in average success rate over egocentric driving models in these challenging driving situations and a 5 times smaller bandwidth requirement than prior work V2VNet. COOPERNAUT and AUTOCASTSIM are available at https://ut-austin-rpl.github.io/Coopernaut/.

研究动机与目标

• 解决数据驱动的自动驾驶策略在极端或罕见场景下因视线感知失效而表现脆弱的问题。
• 通过车对车（V2V）通信实现协同感知，提升易发生事故情境下的驾驶安全性。
• 设计一种通信高效的端到端学习框架，传输紧凑且具有物理基础的激光雷达表示，以提升态势感知能力。
• 在具有动态交通和有限感知范围的真实、具有挑战性的驾驶场景中评估该模型。
• 开发一种仿真框架，以实现网络化自动驾驶中协同感知的可复现基准测试。

提出的方法

• 该模型使用基于 Point Transformer 的编码器，将每辆车的原始激光雷达点云转换为紧凑的、具备空间感知能力的神经表示。
• 这些表示通过带宽受限的真实 V2V 无线信道传输，同时保持空间和几何保真度。
• 自车通过可微分的空间变换与融合机制，聚合来自邻近车辆的表示。
• 整个系统为端到端可微，使得控制监督信号（来自一个理想规划器）能够通过感知和通信模块反向传播。
• 开发了一种新型仿真框架 AutoCastSim，用于在 CARLA 中建模多车 V2V 通信、真实网络条件以及易发生事故的情景。
• 该框架包含一个具备特权信息的专家理想规划器，用于监督模仿学习并评估性能。

实验结果

研究问题

• RQ1 通过 V2V 通信实现的协同感知是否能显著提升在遮挡、高风险交通场景下的驾驶性能？
• RQ2 与先前方法相比，紧凑激光雷达表示的通信效率在带宽和性能方面表现如何？
• RQ3 端到端训练方案在多大程度上确保了传输消息中包含任务相关的、可操作的信息？
• RQ4 该模型在真实世界类似条件下，面对可变的交通密度和动态邻居变化时，其鲁棒性如何？
• RQ5 该模型是否能在不依赖手工设计元数据的前提下，泛化到各种不同的易发生事故场景？

主要发现

• 在最具挑战性的易发生事故场景（如存在遮挡的左转）中，Coopernaut 相较于自车中心驾驶模型，平均成功率提升了 40%。
• 与先前工作 V2VNet 相比，该模型将带宽需求降低了 5 倍，同时保持或提升了性能。
• 在密集交通中，Coopernaut 的成功率比无 V2V 信息共享基线高出 30% 以上，表明其对邻居通信中随机性增加的鲁棒性。
• 定性分析表明，Coopernaut 通过协同感知实现了主动避碰，能够感知到卡车等障碍物后方隐藏的车辆。
• 该模型在不同交通密度下均表现出良好泛化能力，无论周围车辆数量如何，性能提升均保持一致。
• 在 5% 的随机邻居选择与空间变换导致的分组丢失情况下，Coopernaut 依然保持稳定，表明其对真实网络缺陷具有抗性。