[论文解读] Enabling Intelligent Vehicular Networks Through Distributed Learning in the Non-Terrestrial Networks 6G Vision

David Naseh, Swapnil Sadashiv Shinde+1 more|arXiv (Cornell University)|Sep 7, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出了一种新型的联邦分割迁移学习（Federated Split Transfer Learning, FSTL）框架，将联邦学习（Federated Learning, FL）、分割学习（Split Learning, SL）与迁移学习（Transfer Learning, TL）相结合，旨在实现6G赋能的智能车联网（Intelligent Vehicular Networks, IVNs）中高效、低延迟且隐私保护的机器学习。通过利用高空平台（High-Altitude Platforms, HAPs）作为非地面网络（Non-Terrestrial Network, NTN）基础设施，FSTL在数据异构性和资源受限条件下，显著降低了通信开销与计算负载，同时保持了高模型准确率，其在准确率与延迟方面均优于FL、SL和FSL，尤其在用户负载持续增加时表现更优。

ABSTRACT

The forthcoming 6G-enabled Intelligent Transportation System (ITS) is set to redefine conventional transportation networks with advanced intelligent services and applications. These technologies, including edge computing, Machine Learning (ML), and network softwarization, pose stringent requirements for latency, energy efficiency, and user data security. Distributed Learning (DL), such as Federated Learning (FL), is essential to meet these demands by distributing the learning process at the network edge. However, traditional FL approaches often require substantial resources for satisfactory learning performance. In contrast, Transfer Learning (TL) and Split Learning (SL) have shown effectiveness in enhancing learning efficiency in resource-constrained wireless scenarios like ITS. Non-terrestrial Networks (NTNs) have recently acquired a central place in the 6G vision, especially for boosting the coverage, capacity, and resilience of traditional terrestrial facilities. Air-based NTN layers, such as High Altitude Platforms (HAPs), can have added advantages in terms of reduced transmission distances and flexible deployments and thus can be exploited to enable intelligent solutions for latency-critical vehicular scenarios. With this motivation, in this work, we introduce the concept of Federated Split Transfer Learning (FSTL) in joint air-ground networks for resource-constrained vehicular scenarios. Simulations carried out in vehicular scenarios validate the efficacy of FSTL on HAPs in NTN, demonstrating significant improvements in addressing the demands of ITS applications.

研究动机与目标

• 为解决6G赋能的智能交通系统（Intelligent Transportation Systems, ITS）中分布式机器学习面临的高延迟、通信开销大和资源受限问题。
• 克服传统联邦学习（FL）在资源受限的车载节点中面临的高计算负载和隐私风险等局限性。
• 将迁移学习（TL）与分割学习（SL）集成到FL中，以提升模型收敛速度并降低车载场景下的通信成本。
• 评估所提出的FSTL框架在非地面网络（NTNs）中的性能表现，特别是利用高空平台（HAPs）实现更广覆盖与更强鲁棒性。
• 证明FSTL在车载用户（Vehicular Users, VUs）数量增加及数据分布异构的情况下，仍能保持高准确率与低延迟。

提出的方法

• 提出联邦分割迁移学习（FSTL），一种结合FL、SL与TL的混合框架，通过HAPs实现车载用户（VUs）与中心服务器之间的模型训练分布化。
• 利用源任务的预训练模型作为知识库初始化客户端模型，从而在数据稀缺环境中缩短训练时间并提升收敛性。
• 采用分割学习（SL）机制，将神经网络划分为客户端与服务器端组件，仅传输剪切层的激活值，从而最小化带宽使用。
• 通过在服务器端聚合客户端模型的梯度，实现联邦学习（FL）的集成，从而在不共享原始数据的前提下完成全局模型更新。
• 采用分层训练流程：客户端使用预训练模型在本地数据上进行训练，仅将最后一层的梯度发送至基于HAP的服务器，由服务器聚合梯度并更新全局模型。
• 利用高空平台（HAPs）作为NTN中的中继节点，以降低传输延迟、提升覆盖范围，并支持可扩展的低延迟车联网通信。

实验结果

研究问题

• RQ1 在资源受限的车载网络中，FSTL相较于FL、SL和FSL在学习效率与延迟方面有何改进？
• RQ2 将迁移学习（TL）与FL、SL结合后，在数据异构性和本地数据有限的条件下，对模型准确率的提升程度如何？
• RQ3 将高空平台（HAPs）作为NTN基础设施，对车载场景中分布式学习的可扩展性与性能有何影响？
• RQ4 随着车载用户（VUs）数量的增加，FSTL在准确率与延迟方面相较于基线方法有何表现？
• RQ5 当本地数据分布在不同VUs间显著变化时，FSTL能否在模型漂移与领域偏移下保持高性能？

主要发现

• FSTL在不同车载用户（VUs）数量下均保持稳定的测试准确率，即使每个用户的训练数据减少，其性能下降也极小；而FL在相同条件下表现出显著的准确率下降。
• 随着VUs数量的增加，FSTL的整体延迟显著低于SL、FL和FSL，主要得益于通信开销降低以及训练过程中并行聚合机制的引入。
• FSTL通过仅向服务器传输客户端最后一层（剪切层）的梯度，显著降低了通信成本，相比FL中全模型参数交换，传输数据量更少、速度更快。
• FSTL中使用预训练模型可加快收敛速度，并在数据稀缺场景下表现更优，从而减少了资源受限VUs对大规模本地数据集的依赖。
• FSTL对数据异构性具有强鲁棒性，在本地数据集大小与质量差异较大的情况下仍能保持高准确率，这得益于预训练模型带来的知识迁移能力。
• 仿真结果表明，FSTL在准确率与延迟方面均优于FL、SL和FSL，尤其在参与VUs数量增加时优势更加明显，验证了其在大规模ITS部署中的可扩展性与高效性。