[论文解读] FedSpace: An Efficient Federated Learning Framework at Satellites and Ground Stations

Jinhyun So, Kevin Hsieh+4 more|arXiv (Cornell University)|Feb 2, 2022

Satellite Communication Systems被引用 53

一句话总结

FedSpace 提出了一种基于优化的联邦学习框架，通过在卫星与地面站之间调度模型聚合，利用确定性、时变的连通性在保持准确性的同时降低训练时间。

ABSTRACT

Large-scale deployments of low Earth orbit (LEO) satellites collect massive amount of Earth imageries and sensor data, which can empower machine learning (ML) to address global challenges such as real-time disaster navigation and mitigation. However, it is often infeasible to download all the high-resolution images and train these ML models on the ground because of limited downlink bandwidth, sparse connectivity, and regularization constraints on the imagery resolution. To address these challenges, we leverage Federated Learning (FL), where ground stations and satellites collaboratively train a global ML model without sharing the captured images on the satellites. We show fundamental challenges in applying existing FL algorithms among satellites and ground stations, and we formulate an optimization problem which captures a unique trade-off between staleness and idleness. We propose a novel FL framework, named FedSpace, which dynamically schedules model aggregation based on the deterministic and time-varying connectivity according to satellite orbits. Extensive numerical evaluations based on real-world satellite images and satellite networks show that FedSpace reduces the training time by 1.7 days (38.6%) over the state-of-the-art FL algorithms.

研究动机与目标

• 推动大规模卫星星座的联邦学习，以避免将大量卫星数据下载到地面站。
• 识别太空环境下联邦学习的根本挑战，特别是卫星闲置与本地更新陈旧之间的权衡。
• 给出并求解一个聚合-调度优化问题，以最大化模型收敛速度。
• 通过真实卫星网络和影像数据集证明 FedSpace 的有效性，在保持相似准确度的情况下实现更快的训练。

提出的方法

• 给出一个聚合调度优化，基于陈旧度和闲置度来选择何时聚合（方程式 11）。
• 将聚合决策建模为调度窗口 I0 上的二进制向量 a（方程式 8）。
• 通过回归使用源数据集来估计效用函数 u(s, T)，以预测陈旧度 s 和训练状态 T 导致的损失降低（方程式 12）。
• 通过对可行聚合模式进行随机搜索，使用学习到的回归模型近似求解调度问题（方程式 13）。
• 将陈旧度 sIk 计算为全局更新与基模型索引之间的差值（方程式 9）。
• 使用确定性连通性模型 C_i 来预测随时间变化的卫星-地面站链路（第 2.2 节）。

实验结果

研究问题

• RQ1 时变、确定性的卫星-地面连通性如何影响联邦学习性能？
• RQ2 相较于同步、异步和缓冲异步FL，基于优化的聚合调度器是否能提升卫星-地面 FL 的模型收敛速度？
• RQ3 在这一太空环境中，卫星闲置与本地更新陈旧之间的权衡是什么，如何进行优化？
• RQ4 选择哪种剪枝或搜索策略足以在调度窗口内找到有效的聚合模式？

主要发现

方案	IID 天	IID 增益	Non-IID 天数	Non-IID 增益
Synchronous FL	30.3	13.3×	45.8	16.5×
Asynchronous FL	-	-	-	-
FedBuff	3.2	1.4×	4.4	1.7×
FedSpace	2.3	n/a	2.7	n/a

• FedSpace 在 IID 与 Non-IID 数据分布下，与同步 FL 和缓冲异步 FL 相比显著加速训练，训练时间分别缩短至最多 16.5× 和 1.7 天（表 2）。
• FedSpace 以显著更少的训练时间达到相同目标准确度，优于最先进的 FL 方法（例如，在某些对比中比同步 FL 快 43.1 天）。
• FedSpace 在闲置和陈旧之间表现出更好的平衡，减少空闲连通性同时保持较低的陈旧度，从而实现更快的收敛（图 7）。
• Non-IID 设置比 IID 更得益于 FedSpace 的调度方法，相对提升更大。
• 该框架依赖于确定性、随时间变化的连通性模型和学习得到的效用函数来引导聚合，从而实现可扩展的调度决策。