[论文解读] Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving

Senkang Hu, Zhengru Fang+4 more|arXiv (Cornell University)|Nov 28, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出了一种统一的域泛化框架，用于联网与自动驾驶车辆中多智能体协作的鸟瞰图（BEV）分割，以应对由环境和传感器异质性引起的域偏移问题。该框架结合了幅度增强、元一致性训练和系统内域对齐，提升了在多样化域中的鲁棒性，在OPV2V基准上实现了48.46%的平均AP@IoU，达到当前最先进性能。

ABSTRACT

Collaborative perception has recently gained significant attention in autonomous driving, improving perception quality by enabling the exchange of additional information among vehicles. However, deploying collaborative perception systems can lead to domain shifts due to diverse environmental conditions and data heterogeneity among connected and autonomous vehicles (CAVs). To address these challenges, we propose a unified domain generalization framework to be utilized during the training and inference stages of collaborative perception. In the training phase, we introduce an Amplitude Augmentation (AmpAug) method to augment low-frequency image variations, broadening the model's ability to learn across multiple domains. We also employ a meta-consistency training scheme to simulate domain shifts, optimizing the model with a carefully designed consistency loss to acquire domain-invariant representations. In the inference phase, we introduce an intra-system domain alignment mechanism to reduce or potentially eliminate the domain discrepancy among CAVs prior to inference. Extensive experiments substantiate the effectiveness of our method in comparison with the existing state-of-the-art works.

研究动机与目标

• 解决联网与自动驾驶车辆（CAVs）中因环境和传感器异质性导致的多智能体协作感知中的域偏移问题。
• 克服现有方法假设训练与测试数据来自同一域的局限性。
• 开发一种在训练和推理阶段均有效的统一框架，以增强对未见域的泛化能力。
• 提升在动态且异质的CAV环境中的鲁棒性，如昼夜或城乡过渡场景。
• 减少因协作车辆间光照、摄像头质量及传感器配置差异导致的数据分布偏移所引发的性能下降。

提出的方法

• 引入幅度增强（AmpAug）以合成图像特征中的低频变化，模拟训练过程中的多样化域条件。
• 设计一种基于元学习的元一致性训练方案，通过一致性损失模拟域偏移，并优化学习域不变表示。
• 在推理阶段实施系统内域对齐机制，对齐协作车辆间的特征分布，最小化域差异。
• 使用一致性损失函数 $\mathcal{L}_{cons}$，在元训练过程中促使来自不同域的潜在表示更加相似。
• 将该框架与现有协作感知架构（如AttFuse、V2VNet、DiscoNet）集成，验证其在不同模型上的泛化能力。
• 采用元优化目标进行模型训练，通过在元训练和元测试任务之间交替，模拟未见域的偏移。

实验结果

研究问题

• RQ1 在真实世界环境和传感器异质性条件下，如何有效实现多智能体协作BEV分割的域泛化？
• RQ2 幅度增强在协作感知中对多样化域的模型泛化能力提升有多大作用？
• RQ3 元一致性训练是否能在不访问目标域数据的情况下，有效学习域不变特征？
• RQ4 系统内域对齐机制在推理阶段减少协作车辆间分布偏移方面的有效性如何？
• RQ5 所提出的框架是否在跨域BEV分割任务中优于现有最先进方法？

主要发现

• 所提方法在OPV2V基准上实现了48.46%的平均AP@IoU，比无AmpAug基线模型高出6.20个百分点。
• AmpAug使平均AP@IoU从无AmpAug时的42.26%提升至48.46%（有AmpAug），证明其在域泛化数据增强中的有效性。
• 元一致性训练使车辆的IoU准确率提升2.56%，道路提升1.08%，车道提升0.26%，表明对域偏移具有更强鲁棒性。
• 系统内域对齐机制在所有基线上均提升性能：V2VNet在车辆上提升3.52%，道路提升2.17%，车道提升1.92%。
• 一致性损失 $\mathcal{L}_{cons}$ 随训练过程下降，表明成功学习了域不变表示。
• 元测试损失在初始波动后稳定在约0.06，证实模型具备泛化至未见域的能力。