[论文解读] Multi-modal Sensor Fusion for Auto Driving Perception: A Survey

Finkenzeller, Andreas, Roberts, Andrew+4 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Neural Network Applications被引用 90

一句话总结

本综述提出了一种用于自动驾驶感知中多模态传感器融合的新型分类法，将方法分为两大类——强融合与弱融合，并根据融合阶段和特征表示进一步细分为四个子类。该综述系统性地回顾了50余篇论文，分析了数据格式，识别出关键挑战如领域偏差和分辨率不匹配，并提出了未来研究方向，包括自监督学习和多源信息融合。

ABSTRACT

Environmental perception and 3D object detection are key factors for advancing autonomous driving and require robust security measures to ensure optimal performance and safety. However, established methods often focus only on protecting the involved data and overlook synchronization and timing aspects, which are equally crucial for ensuring profound system security. For instance, multi-modal sensor fusion techniques for object detection can be affected by input desynchronization resulting from random communication delays or malicious cyber attacks, as these techniques combine various sensor inputs to extract shared features present in their data streams simultaneously. Current research acknowledges the importance of temporal alignment in this context. However, the presented studies typically assume genuine system behavior and neglect the potential threat of malicious attacks, as the suggested solutions lack strategies to prevent intentional data misalignment. Additionally, they do not adequately address how sensor input desynchronization affects fusion performance in depth. This paper investigates how desynchronization attacks impact sensor fusion algorithms for 3D object detection. We evaluate how varying sensor delays affect the detection performance and link our findings to the internal architecture of the sensor fusion algorithms and the influence of specific traffic scenarios and their dynamics. We compiled four datasets covering typical traffic scenarios for our empirical evaluation and tested them on four representative fusion algorithms. Our results show that all evaluated algorithms are vulnerable to input desynchronization, as the performance declines with increasing sensor delays, highlighting the existing lack of resilience to desynchronization attacks. Furthermore, we observe that the Light Detection and Ranging (LiDAR) sensor is significantly more susceptible to delays than the camera. Finally, our experiments indicate that the chosen fusion architecture correlates with the system’s resilience against desynchronization, as our results demonstrate that the early fusion approach provides greater robustness than others.

研究动机与目标

• 为解决传统三类融合分类法（早期、深度、晚期融合）在特征表示方面缺乏清晰界定且无法捕捉非对称融合模式的局限性。
• 对使用激光雷达和摄像头传感器进行3D目标检测与语义分割等任务的多模态感知相关研究进行系统性综述，涵盖50余篇近期论文。
• 识别多模态融合中的持续性挑战，包括领域偏差、分辨率差异以及特征转换过程中的信息损失。
• 提出未来研究方向，如自监督表示学习，以及利用跨多个传感器和帧的时间、空间与上下文信息。
• 提供一种基于阶段的系统性分类框架，更准确地反映现代融合架构不断演化的复杂性。

提出的方法

• 提出一种新分类法，将融合方法划分为两大类：强融合与弱融合，其中强融合进一步根据融合阶段和特征表示细分为早期融合、深度融合、晚期融合和非对称融合四种子类。
• 分析并比较激光雷达（点云、鸟瞰图投影、体素网格）与摄像头（RGB图像、特征图）的数据格式与表示方式，突出其在分辨率、结构和信息内容方面的差异。
• 评估融合机制，如拼接、逐元素相乘和双线性池化，主张采用更复杂的操作以弥合模态间的语义鸿沟。
• 引入基于阶段的分类体系，通过明确定义各模态在不同处理阶段的角色，澄清特征级融合，避免传统方法中对称性的假设。
• 建议未来融合模型应通过联合学习框架整合多源信息，包括语义分割、车道检测和时间序列信息。
• 倡导采用自监督和对比学习技术，以利用真实场景中固有的跨模态对应关系，提升特征对齐效果，同时减少对成对标注数据的依赖。

实验结果

研究问题

• RQ1 如何在传统早期/深度/晚期融合分类法之外，构建一种更系统化、更精确的自动驾驶感知中多模态传感器融合的分类体系？
• RQ2 激光雷达点云与摄像头图像在数据表示和特征特性方面的主要差异是什么？这些差异如何影响融合性能？
• RQ3 多模态融合中的主要未解挑战有哪些，如领域偏差、分辨率不匹配以及投影过程中的信息损失？
• RQ4 未来融合模型如何更好地利用多源信息，包括语义、空间和时间上下文，以提升鲁棒性与准确性？
• RQ5 自监督学习在增强跨模态特征对齐、减少对大规模标注数据集依赖方面可发挥何种作用？

主要发现

• 所提出的分类法——强融合与弱融合，下设四个子类——相比传统早期/深度/晚期融合分类法，能更清晰、准确地分类当前融合方法，尤其在捕捉非对称融合模式方面更具优势。
• 激光雷达与摄像头数据在分辨率、结构和信息内容方面存在显著差异，激光雷达存在空间密度低的问题，而摄像头则面临遮挡和光照变化的挑战。
• 在降维过程中（如将3D点云投影为2D鸟瞰图BEV）存在显著的信息损失，可通过设计融合友好的高维表示来缓解。
• 当前的融合操作（如拼接和逐元素相乘）不足以应对模态间分布差异较大的问题，表明需要引入更先进的机制，如双线性池化。
• 由传感器类型、天气、地理位置和季节等因素引起的领域偏差限制了模型的泛化能力，未来模型必须能自适应地整合多样化数据源以提升鲁棒性。
• 自监督和对比学习方法在提升跨模态特征对齐和减少标注依赖方面展现出强大潜力，为未来研究提供了有前景的方向。