[论文解读] A Survey and Framework of Cooperative Perception: From Heterogeneous Singleton to Hierarchical Cooperation

Zhengwei Bai, Guoyuan Wu+5 more|arXiv (Cornell University)|Aug 22, 2022

EEG and Brain-Computer Interfaces被引用 8

一句话总结

本文提出了首个面向联网与自动驾驶车辆中协同感知（CP）的统一分层框架，整合了异构节点（车辆、基础设施、云）以克服遮挡和视场受限的局限。通过按节点结构、传感器模态和融合策略对CP系统进行分类，并引入可扩展的多级架构，该框架通过车辆-基础设施协作、多模态融合及分层数据处理，实现了鲁棒、大规模的感知能力。

ABSTRACT

Perceiving the environment is one of the most fundamental keys to enabling Cooperative Driving Automation (CDA), which is regarded as the revolutionary solution to addressing the safety, mobility, and sustainability issues of contemporary transportation systems. Although an unprecedented evolution is now happening in the area of computer vision for object perception, state-of-the-art perception methods are still struggling with sophisticated real-world traffic environments due to the inevitably physical occlusion and limited receptive field of single-vehicle systems. Based on multiple spatially separated perception nodes, Cooperative Perception (CP) is born to unlock the bottleneck of perception for driving automation. In this paper, we comprehensively review and analyze the research progress on CP and, to the best of our knowledge, this is the first time to propose a unified CP framework. Architectures and taxonomy of CP systems based on different types of sensors are reviewed to show a high-level description of the workflow and different structures for CP systems. Node structure, sensor modality, and fusion schemes are reviewed and analyzed with comprehensive literature to provide detailed explanations of specific methods. A Hierarchical CP framework is proposed, followed by a review of existing Datasets and Simulators to sketch an overall landscape of CP. Discussion highlights the current opportunities, open challenges, and anticipated future trends.

研究动机与目标

• 通过协同感知解决单车感知的关键局限——物理遮挡与视场狭窄问题。
• 通过统一多样化架构与融合策略，克服多节点感知系统中的可扩展性与异构性挑战。
• 提出一种分层CP框架，集成车辆、基础设施与云层级，以实现可扩展、鲁棒且高效的协同驾驶自动化感知。
• 系统性回顾现有数据集、仿真工具与CP方法，识别研究空白并指导未来发展方向。
• 通过建立全面的CP分类体系与发展路线图，推动该领域发展，重点强调多模态与异构协同。

提出的方法

• 提出一种包含三个层级的分层CP框架：交叉路口级、走廊级与网络级协作，实现在城市环境中可扩展的感知。
• 根据节点结构（如仅车辆、车辆-基础设施）、传感器模态（摄像头、激光雷达、雷达）以及融合方式（早期融合、晚期融合、深度融合、特征级融合）对CP系统进行分类。
• 提出一种统一的分类体系，以组织基于其架构与运行特性的现有CP方法。
• 分析从早期融合到深度融合的融合技术，强调精度、延迟与计算成本之间的权衡。
• 突出基础设施作为高容量处理与数据聚合节点的作用，以减轻车载计算负载。
• 提出动态、轻量级的数据交换协议，实现在异构节点间高效的信息共享，同时避免通信带宽过载。

实验结果

研究问题

• RQ1 如何在多样化架构、传感器类型与融合策略之间系统性地分类并统一协同感知？
• RQ2 在大规模、异构的车辆与基础设施网络中，协同感知的可扩展性面临哪些关键架构与运行挑战？
• RQ3 车辆-基础设施协作如何提升感知鲁棒性与覆盖范围，突破单车感知的局限？
• RQ4 多模态传感器融合（如摄像头+激光雷达）在提升多个协同节点感知精度方面发挥何种作用？
• RQ5 在现实交通系统中，实现可扩展、实时且成本效益高的协同感知的最有前景路径是什么？

主要发现

• 所提出的分层CP框架首次提供了一个统一的架构，集成车辆、基础设施与云层级，实现可扩展且鲁棒的感知。
• 车辆-基础设施协作显著提升了感知精度与覆盖范围，通过缓解遮挡并扩展单节点感知的有效视场。
• 在复杂城市环境中存在动态障碍物时，多节点间的多模态传感器融合可增强检测精度与鲁棒性。
• 深度融合与特征级融合方法表现出更高的精度，但面临可扩展性与计算成本的挑战，尤其在大规模部署中。
• 基于基础设施的感知节点可作为高性能处理中心，减少对单车高端计算能力的依赖，实现成本效益高的大规模部署。
• 现有协同感知数据集与仿真工具在范围与真实性方面仍显不足，凸显了未来发展中亟需填补的关键研究空白。