[论文解读] Feature Sharing and Integration for Cooperative Cognition and Perception with Volumetric Sensors

Amir Emad Marvasti, Arash Raftari+4 more|arXiv (Cornell University)|Nov 16, 2020

CCD and CMOS Imaging Sensors参考文献 31被引用 8

一句话总结

本文提出深度特征共享（DFS）作为体感传感器的协作感知框架，通过在车辆间高效融合神经网络中间特征，提升目标检测性能的同时降低通信开销。由于具备鲁棒的特征级融合机制和对定位误差较低的敏感度，DFS在GPS噪声环境下相比原始信息共享和假设共享方法，在平均精度方面表现更优。

ABSTRACT

The recent advancement in computational and communication systems has led to the introduction of high-performing neural networks and high-speed wireless vehicular communication networks. As a result, new technologies such as cooperative perception and cognition have emerged, addressing the inherent limitations of sensory devices by providing solutions for the detection of partially occluded targets and expanding the sensing range. However, designing a reliable cooperative cognition or perception system requires addressing the challenges caused by limited network resources and discrepancies between the data shared by different sources. In this paper, we examine the requirements, limitations, and performance of different cooperative perception techniques, and present an in-depth analysis of the notion of Deep Feature Sharing (DFS). We explore different cooperative object detection designs and evaluate their performance in terms of average precision. We use the Volony dataset for our experimental study. The results confirm that the DFS methods are significantly less sensitive to the localization error caused by GPS noise. Furthermore, the results attest that detection gain of DFS methods caused by adding more cooperative participants in the scenes is comparable to raw information sharing technique while DFS enables flexibility in design toward satisfying communication requirements.

研究动机与目标

• 解决车载网络中协作感知的局限性，特别是带宽限制和GPS噪声引起的定位误差问题。
• 研究使用体感传感器进行协作目标检测时，通信效率与检测性能之间的权衡关系。
• 提出并评估深度特征共享（DFS）作为原始数据共享（高带宽）与假设共享（低带宽但易出错）之间的折中方案。
• 分析GPS噪声和协作车辆数量对不同共享范式下检测性能的影响。
• 证明DFS可在更低通信成本下实现更高检测性能，并展现出优于现有方法的鲁棒性。

提出的方法

• 基于深度神经网络的中间特征，实现一种基于DFS的协作目标检测系统，车辆间传输中间特征。
• 采用逐元素求和的方式对协作参与方的特征进行聚合，以在检测头之前融合信息。
• 设计一种假设共享方法（HSM）作为完全处理后的信息共享基线，即车辆间共享独立预测的检测假设。
• 实现一种原始信息共享（RIS）基线，通过传输完整的LIDAR点云实现融合。
• 采用固定锚点（每单元4个）的非极大值抑制（NMS）策略合并检测结果，确保各方法间评估的一致性。
• 利用Volony数据集，在不同GPS噪声水平和协作车辆数量下进行实验评估。

实验结果

研究问题

• RQ1 在GPS噪声条件下，深度特征共享（DFS）与原始信息共享（RIS）和假设共享（HSM）在平均精度方面有何差异？
• RQ2 在每种共享范式下，增加协作车辆数量对检测性能有何影响？
• RQ3 RIS、HSM和DFS方法对由GPS噪声引起的定位误差敏感度如何？
• RQ4 为何HSM性能在协作参与者增多时下降，特别是在行人检测中？
• RQ5 NMS设计在多源假设融合场景下，对协作检测性能的限制程度如何，尤其是在假设共享方法中？

主要发现

• 采用逐元素求和的DFS在检测性能上可与RIS相媲美，且对GPS噪声的敏感度显著更低。
• 由于错误假设累积和重叠假设的NMS合并不完善，HSM性能随协作车辆数量增加而下降。
• 在行人检测中，HSM的精度下降更为严重，原因在于更严格的IoU阈值（40%）和更高的定位敏感度。
• 随着参与方数量增加，RIS和DFS的精度保持稳定，因为其融合发生在假设生成之前，且受固定锚点数量的约束。
• HSM的召回率高于DFS和RIS，因其无假设数量限制，但存在极高的假阳性率。
• 结果凸显了当前NMS设计在协作感知中的关键缺陷，尤其是在融合来自多源且存在定位误差的假设时。