[论文解读] Federated Dynamic Spectrum Access

Yifei Song, Hao-Hsuan Chang+3 more|arXiv (Cornell University)|Jun 28, 2021

Privacy-Preserving Technologies in Data参考文献 14被引用 9

一句话总结

本文提出了一种基于联邦学习（FL）的动态频谱接入（DSA）框架，用于5G和物联网（IoT）网络，通过多智能体强化学习（MARL）实现隐私保护、去中心化的频谱共享。与非联邦方法相比，该方法在系统吞吐量和频谱效率方面表现更优，初步仿真结果表明，在部分用户参与和异构数据分布条件下性能更优。

ABSTRACT

Due to the growing volume of data traffic produced by the surge of Internet of Things (IoT) devices, the demand for radio spectrum resources is approaching their limitation defined by Federal Communications Commission (FCC). To this end, Dynamic Spectrum Access (DSA) is considered as a promising technology to handle this spectrum scarcity. However, standard DSA techniques often rely on analytical modeling wireless networks, making its application intractable in under-measured network environments. Therefore, utilizing neural networks to approximate the network dynamics is an alternative approach. In this article, we introduce a Federated Learning (FL) based framework for the task of DSA, where FL is a distributive machine learning framework that can reserve the privacy of network terminals under heterogeneous data distributions. We discuss the opportunities, challenges, and opening problems of this framework. To evaluate its feasibility, we implement a Multi-Agent Reinforcement Learning (MARL)-based FL as a realization associated with its initial evaluation results.

研究动机与目标

• 解决由于连接设备数量指数级增长导致的5G和物联网网络中频谱短缺问题。
• 克服传统动态频谱接入（DSA）方法依赖集中式、精确的信道状态信息且控制开销高的局限性。
• 通过联邦学习（FL）训练模型而不共享原始用户数据，实现去中心化、隐私保护的频谱接入。
• 在动态、异构的无线环境中提升频谱利用率和系统吞吐量，特别是在公民宽带无线电服务（CBRS）频段。
• 在真实网络条件下评估基于联邦学习的DSA与多智能体强化学习（MARL）的可行性与性能。

提出的方法

• 采用联邦学习（FL）框架，在不传输原始数据的情况下，跨分布式次用户（SUs）训练全局强化学习策略。
• 使用基于策略梯度方法的多智能体强化学习（MARL），使SUs能够基于本地观测学习最优频谱接入策略。
• 实施部分参与机制，仅选择信道条件、能量和计算资源有利的SUs参与每轮FL训练。
• 应用FedProx以在统计异构性和系统异构性下稳定训练，特别是在本地数据非独立同分布（non-i.i.i.d.）时。
• 设计分层观测空间，包含瞬时干扰功率，以及可选的频谱使用的时间和空间统计信息。
• 通过安全聚合和模型平均更新全局策略，同时保护用户隐私。

实验结果

研究问题

• RQ1 联邦学习能否在异构的5G和物联网网络中有效实现去中心化、隐私保护的动态频谱接入？
• RQ2 在系统吞吐量和奖励方面，联邦学习中的部分参与如何影响基于MARL的DSA的收敛性和性能？
• RQ3 在频谱效率和收敛性方面，基于联邦学习的DSA与非联邦学习方法之间的性能权衡是什么？
• RQ4 系统异构性和非独立同分布（non-i.i.d.）数据分布对基于联邦学习的MARL在DSA中的收敛性和稳定性有何影响？
• RQ5 在电池供电的物联网设备中，将联邦学习应用于DSA面临的主要挑战是什么，特别是隐私、异步性和能效方面？

主要发现

• 所提出的基于联邦学习的MARL框架相较于非联邦学习基线方法实现了更高的系统总奖励，且随着更多用户参与，性能持续提升。
• 联邦学习中的部分参与机制可灵活选择高质量SUs，从而提升整体系统吞吐量并降低通信开销。
• 使用FedProx可提升在数据和系统异构性下的收敛稳定性，缓解非独立同分布设置下的发散风险。
• 仿真结果表明，FL-MARL方法在动态频谱利用和适应网络条件变化方面优于传统DSA方法。
• 通过模型聚合实现隐私保护训练，无需传输原始数据，但模型更新仍面临对抗性攻击的潜在威胁。
• 异步联邦学习在实际部署中更具可行性，尽管在该条件下收敛性的理论验证仍需进一步研究。