[论文解读] FedSN: A Federated Learning Framework over Heterogeneous LEO Satellite Networks

Lin Zheng, Zhe Chen+4 more|arXiv (Cornell University)|Nov 2, 2023

Satellite Communication Systems被引用 4

一句话总结

FedSN 是一种新颖的联邦学习框架，专为异构低地球轨道（LEO）卫星网络而设计，通过子结构方案和伪同步模型聚合，解决了计算、内存和通信异构性、上行链路带宽受限以及模型滞后等问题。在遥感与空间调制任务中，其准确率更高，通信与计算开销更低，优于当前最先进的方法。

ABSTRACT

Recently, a large number of Low Earth Orbit (LEO) satellites have been launched and deployed successfully in space by commercial companies, such as SpaceX. Due to multimodal sensors equipped by the LEO satellites, they serve not only for communication but also for various machine learning applications, such as space modulation recognition, remote sensing image classification, etc. However, the ground station (GS) may be incapable of downloading such a large volume of raw sensing data for centralized model training due to the limited contact time with LEO satellites (e.g. 5 minutes). Therefore, federated learning (FL) has emerged as the promising solution to address this problem via on-device training. Unfortunately, to enable FL on LEO satellites, we still face three critical challenges that are i) heterogeneous computing and memory capabilities, ii) limited uplink rate, and iii) model staleness. To this end, we propose FedSN as a general FL framework to tackle the above challenges, and fully explore data diversity on LEO satellites. Specifically, we first present a novel sub-structure scheme to enable heterogeneous local model training considering different computing, memory, and communication constraints on LEO satellites. Additionally, we propose a pseudo-synchronous model aggregation strategy to dynamically schedule model aggregation for compensating model staleness. To further demonstrate the effectiveness of the FedSN, we evaluate it using space modulation recognition and remote sensing image classification tasks by leveraging the data from real-world satellite networks. Extensive experimental results demonstrate that FedSN framework achieves higher accuracy, lower computing, and communication overhead than the state-of-the-art benchmarks and the effectiveness of each components in FedSN.

研究动机与目标

• 解决由于地面站接触时间有限和数据量庞大，导致在 LEO 卫星上训练有效机器学习模型的挑战。
• 克服 LEO 卫星之间在计算、内存和通信能力方面的资源异构性。
• 缓解因卫星联邦学习中连接间歇性和异步更新导致的模型滞后问题。
• 通过在低上行链路带宽约束下优化模型聚合，降低通信开销。
• 实现在无需依赖星间链路的前提下，跨多样化卫星星座实现高效、隐私保护的设备端训练。

提出的方法

• 提出一种子结构方案，根据每颗卫星的计算、内存和通信约束，定制本地模型架构。
• 引入一种子结构分发机制，平衡不同能力卫星之间的训练负载。
• 采用子结构聚合策略，通过优先选择更新较新的模型，减少组内模型滞后。
• 设计一种伪同步模型聚合策略，基于模型参数差异的差异感知加权函数，动态加权传入的更新。
• 采用基于缓冲区的聚合机制，存储并调度模型更新，实现在异步但协调的聚合中，降低组间滞后。
• 结合时间与差异依赖的加权机制，平衡滞后与近期模型的影响，提升收敛性与泛化能力。

实验结果

研究问题

• RQ1 如何在计算、内存和通信能力异构的 LEO 卫星之间有效扩展联邦学习？
• RQ2 当与地面站的连接间歇且短暂时，LEO 卫星网络中模型滞后可降低到何种程度？
• RQ3 在卫星联邦学习中，基于差异感知的模型聚合策略是否优于仅依赖时间的滞后补偿方法？
• RQ4 在资源受限条件下，子结构定制如何提升训练效率与模型准确率？
• RQ5 伪同步聚合对真实卫星数据集中收敛速度与测试准确率的影响如何？

主要发现

• FedSN 在空间调制识别与遥感图像分类任务中，测试准确率均高于当前最先进的基准方法。
• 子结构定制与分发机制显著减少了训练不平衡，提升了异构卫星间的模型收敛性。
• 与 FedAsync 相比，伪同步模型聚合策略在 GBsense 数据集上平均提升准确率 3.2%；与 SS+FedAsync 相比，提升 2.1%。
• 消融实验表明，子结构定制、分发、聚合以及伪同步聚合等各组件均对性能提升有显著贡献。
• 该框架通过根据卫星能力优化模型大小与更新频率，降低了通信与计算开销。
• 模型聚合中的基于差异的加权函数能有效缓解组间滞后，尤其在轨道周期长且接触窗口不规则的卫星中效果显著。