[论文解读] Distributed Dynamic Map Fusion via Federated Learning for Intelligent Networked Vehicles

Zijian Zhang, Shuai Wang+3 more|arXiv (Cornell University)|Mar 5, 2021

Indoor and Outdoor Localization Technologies参考文献 30被引用 69

一句话总结

本文提出了一种基于联邦学习（FL）的动态地图融合框架，适用于智能车联网系统，支持在缺少标签的情况下实现分布式、在线学习。通过结合三阶段融合方案（DBSCAN聚类、基于分数的加权平均、IoU剪枝）、联邦学习用于分布式特征模型微调，以及知识蒸馏用于生成标签，该框架在通信开销较低的情况下实现了高质量的地图，即使在无真实标签的情况下，其性能也优于现有方法。

ABSTRACT

The technology of dynamic map fusion among networked vehicles has been developed to enlarge sensing ranges and improve sensing accuracies for individual vehicles. This paper proposes a federated learning (FL) based dynamic map fusion framework to achieve high map quality despite unknown numbers of objects in fields of view (FoVs), various sensing and model uncertainties, and missing data labels for online learning. The novelty of this work is threefold: (1) developing a three-stage fusion scheme to predict the number of objects effectively and to fuse multiple local maps with fidelity scores; (2) developing an FL algorithm which fine-tunes feature models (i.e., representation learning networks for feature extraction) distributively by aggregating model parameters; (3) developing a knowledge distillation method to generate FL training labels when data labels are unavailable. The proposed framework is implemented in the Car Learning to Act (CARLA) simulation platform. Extensive experimental results are provided to verify the superior performance and robustness of the developed map fusion and FL schemes.

研究动机与目标

• 解决智能车联网系统中动态地图融合的感知与模型不确定性问题。
• 在实时数据标签缺失的情况下，实现在线、分布式学习。
• 通过高效的融合与模型聚合，在保持高地图质量的同时降低通信开销。
• 开发一种可扩展、鲁棒的框架，用于基于LiDAR数据和边缘计算协同的实时动态地图融合。

提出的方法

• 三阶段融合流水线：(1) 使用DBSCAN对目标检测结果进行空间聚类，(2) 基于分数的重叠目标加权平均，(3) 基于IoU的边界框剪枝以解决冲突。
• 一种基于点云的联邦学习算法，通过聚合车辆的模型参数来微调共享特征提取网络，而无需共享原始数据。
• 一种知识蒸馏方法，利用边缘服务器的融合地图作为教师模型，为本地训练数据生成伪标签。
• 将联邦学习与知识蒸馏集成到集成蒸馏联邦学习（EDFL）框架中，以提升在标签稀缺情况下的模型鲁棒性。
• 在CARLA仿真平台中实现并评估，使用LiDAR点云数据，并通过自定义数据转换将结果转换为KITTI标准。

实验结果

研究问题

• RQ1 三阶段融合方案是否能有效估计目标数量，并在动态环境中提升地图保真度？
• RQ2 联邦学习能否在目标数量未知的分布式车联网中有效应用于基于LiDAR的特征模型？
• RQ3 当真实标签缺失时，知识蒸馏能否生成可靠的训练标签？
• RQ4 所提出的EDFL框架是否能在无任何标签的情况下，实现接近完全监督联邦学习基线的性能？

主要发现

• 所提出的三阶段融合方法在IoU=0.7时取得了所有对比方法中最高的平均精度，优于最大分数融合与平均融合方法。
• 基于EDFL的融合方法在性能上接近完美联邦学习基线，尤其在远距离（LR）和高遮挡（LO）场景中表现突出。
• 即使在无真实标签的情况下，EDFL框架相比未使用FL或融合的方法，显著提升了检测精度。
• 该框架通过避免原始数据传输，仅依赖模型参数聚合与蒸馏标签，有效降低了通信开销。
• 边缘服务器的融合地图作为有效的教师模型，能够为本地训练生成高精度的伪标签。