[论文解读] Decentralized Model Dissemination Empowered Federated Learning in mmWave Aerial-Terrestrial Integrated Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan+1 more|arXiv (Cornell University)|Feb 28, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出FedMoD，一种用于毫米波空中-地面融合网络的去中心化联邦学习框架，通过无人机（UAV）之间的通信及设备到设备（D2D）通信作为本地聚合器，无需中央参数服务器。该方案在保持与集中式联邦学习相当的收敛性能的同时，通过优化无线资源管理及基于图论的视 Line-of-sight（LOS）与非视 Line-of-sight（non-LOS）用户调度，显著降低了能耗。

ABSTRACT

It is anticipated that aerial-terrestrial integrated networks incorporating unmanned aerial vehicles (UAVs) mounted relays will offer improved coverage and connectivity in the beyond 5G era. Meanwhile, federated learning (FL) is a promising distributed machine learning technique for building inference models over wireless networks due to its ability to maintain user privacy and reduce communication overhead. However, off-the-shelf FL models aggregate global parameters at a central parameter server (CPS), increasing energy consumption and latency, as well as inefficiently utilizing radio resource blocks (RRBs) for distributed user devices (UDs). This paper presents a resource-efficient FL framework, called FedMoD ( extbf{fed}erated learning with extbf{mo}del extbf{d}issemination), for millimeter-wave (mmWave) aerial-terrestrial integrated networks with the following two unique characteristics. Firstly, FedMoD presents a novel decentralized model dissemination algorithm that makes use of UAVs as local model aggregators through UAV-to-UAV and device-to-device (D2D) communications. As a result, FedMoD (i) increases the number of participant UDs in developing FL model and (ii) achieves global model aggregation without involving CPS. Secondly, FedMoD reduces the energy consumption of FL using radio resource management (RRM) under the constraints of over-the-air learning latency. In order to achieve this, by leveraging graph theory, FedMoD optimizes the scheduling of line-of-sight (LOS) UDs to suitable UAVs/RRBs over mmWave links and non-LOS UDs to available LOS UDs via overlay D2D communications. Extensive simulations reveal that decentralized FedMoD offers same convergence rate performance as compared to conventional FL frameworks.

研究动机与目标

• 为解决传统联邦学习（FL）在毫米波空中-地面融合网络（ATINs）中因中央参数服务器（CPS）导致的高能耗与高延迟问题。
• 通过利用无人机作为去中心化的本地聚合器，实现无需依赖CPS的全局FL模型聚合。
• 在空中学习延迟约束下，通过高效的无线资源管理（RRM）最小化FL中的能耗。
• 利用图论优化LOS与非LOS用户设备（UDs）到无人机及无线资源块（RRBs）的调度，提升频谱效率并减少干扰。
• 评估无人机网络拓扑结构与信息扩散频率对FL收敛性与能效的影响。

提出的方法

• 提出一种去中心化模型分发算法，利用无人机间通信与D2D通信，使无人机作为本地FL聚合器，实现无需中央参数服务器的全局模型聚合。
• 采用速率自适应的无线资源管理（RRM）方案，将LOS UDs调度至最优无人机与RRB，非LOS UDs通过叠加D2D通信方式调度至LOS UDs。
• 利用图论建模并优化UDs到无人机及RRBs的调度，确保毫米波频谱的高效利用并最小化干扰。
• 引入部分分发机制，通过参数α控制无人机间完整模型交换的频率，实现收敛性与能效之间的平衡。
• 设计一种分布式RRM方案，基于信道质量与网络拓扑将UDs匹配至无人机与RRBs，减少冲突与能耗。
• 提供理论收敛性分析，证明在所提出的RRM与分发策略下，FedMoD的收敛速度与集中式FL相当。

Figure 1 : ATIN network with one CPS, $3$ UAVs, $9$ UDs, and a set of RRBs per each UAV. For instance, UDs $1$ , $3$ , $5$ , and $7$ do not have direct LOS links to the UAVs. Thus, they transmit the trained local models to the UAVs via LOS UDs, e.g., UDs $2$ , $4$ , and $6$ . UDs $8$ and $9$ can tra

实验结果

研究问题

• RQ1 在毫米波空中-地面融合网络中，如何实现无需中央参数服务器的全局FL模型聚合？
• RQ2 无人机网络拓扑结构对去中心化FL的收敛性能与能效有何影响？
• RQ3 无人机间模型分发频率（由α控制）如何影响学习准确率与收敛稳定性？
• RQ4 在大规模ATINs中，分布式RRM方案能否实现与集中式RRM方案相当的能效？
• RQ5 非LOS UDs与LOS UDs之间的D2D通信在多大程度上可提升系统吞吐量并降低能耗？

主要发现

• FedMoD在全分发模式（α=1）下，MNIST测试准确率达到0.966，CIFAR-10达到0.668，收敛速度与测试准确率与传统集中式FL相当。
• 分发频率较低（α=2或3）时性能显著下降，MNIST与CIFAR-10的测试准确率分别降至0.66与0.52，主因是模型平均不足。
• 全连接无人机网络拓扑的测试准确率高于部分连接拓扑，当α > 4时，后者性能趋近于全连接拓扑。
• 所提出的分布式RRM方案在能耗表现上与集中式RRM方案完全一致，尤其在用户设备数量增加时更为显著，归因于调度冲突减少。
• 随机RRM调度导致最高能耗，证实了FL系统中未优化资源分配的低效性。
• FedMoD在所有测试方案中平均能耗最低，证明了所提RRM与分发策略的有效性。

Figure 2 : Transmission time structure for LOS UDs and non-LOS UDs for the $t$ -th global iteration.