[论文解读] Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks

Peyman Tehrani, Francesco Restuccia+1 more|arXiv (Cornell University)|Dec 7, 2021

Energy Harvesting in Wireless Networks被引用 6

一句话总结

该论文提出了一种用于下一代（NextG）无线网络中分布式功率控制的联邦深度强化学习（F-DRL）方法，其中基站（BSs）通过仅交换模型权重而非原始数据，协作训练共享的深度Q网络或策略梯度模型。与完全分布式的DRL相比，F-DRL将网络和速率提高了40%以上，并在通信开销降低1,000倍的情况下达到集中式性能水平。

ABSTRACT

Next Generation (NextG) networks are expected to support demanding tactile internet applications such as augmented reality and connected autonomous vehicles. Whereas recent innovations bring the promise of larger link capacity, their sensitivity to the environment and erratic performance defy traditional model-based control rationales. Zero-touch data-driven approaches can improve the ability of the network to adapt to the current operating conditions. Tools such as reinforcement learning (RL) algorithms can build optimal control policy solely based on a history of observations. Specifically, deep RL (DRL), which uses a deep neural network (DNN) as a predictor, has been shown to achieve good performance even in complex environments and with high dimensional inputs. However, the training of DRL models require a large amount of data, which may limit its adaptability to ever-evolving statistics of the underlying environment. Moreover, wireless networks are inherently distributed systems, where centralized DRL approaches would require excessive data exchange, while fully distributed approaches may result in slower convergence rates and performance degradation. In this paper, to address these challenges, we propose a federated learning (FL) approach to DRL, which we refer to federated DRL (F-DRL), where base stations (BS) collaboratively train the embedded DNN by only sharing models' weights rather than training data. We evaluate two distinct versions of F-DRL, value and policy based, and show the superior performance they achieve compared to distributed and centralized DRL.

研究动机与目标

• 解决在毫米波和高移动性条件下，NextG无线网络中动态、高维控制带来的性能不稳定问题。
• 克服集中式DRL（通信开销高）和完全分布式DRL（收敛慢、协调差）的局限性。
• 实现在不共享用户或信道状态原始数据的前提下，跨基站的隐私保护型协同模型训练。
• 通过在分布式BS之间聚合DRL模型，提升网络和速率与收敛速度。
• 证明F-DRL在显著降低通信成本的同时，性能接近集中式DRL，并有效保护数据隐私。

提出的方法

• 在联邦学习框架中，基站（BSs）使用本地数据训练共享的深度神经网络（DNN），用于DRL策略或价值函数。
• 在中心服务器处进行模型权重聚合，以更新全局DNN，从而最小化数据传输并保护本地数据隐私。
• 在联邦框架内同时应用基于值函数的（深度Q网络，DQN）和基于策略的（深度策略梯度，DPG）DRL算法。
• 引入周期性聚合（AggPer）以平衡收敛速度与通信成本，实验中调整聚合频率。
• 设计一种奖励函数以最大化下行链路和速率，引入控制参数β=1以平衡频谱效率与公平性。
• 在7,000个训练周期内进行训练，每个周期包含10个时隙，采用包含25个小区和每小区4个用户的多小区网络，在真实的多普勒频移与功率约束条件下进行。

实验结果

研究问题

• RQ1 在多小区NextG无线网络中，与完全分布式的DRL相比，联邦DRL是否能提升网络和速率性能？
• RQ2 在保持相似性能的前提下，联邦DRL的通信开销与集中式DRL相比如何？
• RQ3 F-DRL中的模型聚合是否能带来比分布式DRL中独立训练更快的收敛速度和更稳定的性能？
• RQ4 网络规模（基站数量）如何影响F-DRL相对于分布式DRL的性能增益？
• RQ5 F-DRL能否在保护用户数据隐私的同时，实现与集中式DRL相当的性能，并显著降低通信成本？

主要发现

• 当基站数量达到36个时，F-DRL相比完全分布式的DRL，将平均用户速率提升了40%以上。
• 联邦DRL方法在性能上可与集中式DRL相媲美，通信开销最高可降低1,000倍（即0.001×），当聚合周期为1,000时。
• 采用深度策略梯度的F-DRL（FDPG）相比F-DQN表现出更平滑的收敛过程和更一致的性能，归因于基于梯度的更新更有利于高奖励轨迹。
• F-DRL在保持高网络和速率与鲁棒性的同时，相比集中式DRL显著降低了平均执行时间和通信开销。
• F-DRL的性能增益随网络规模增大而提升，在大规模网络（如36个小区）中相比分布式DRL提升达40%，而在小规模网络中仅提升约15%。
• F-DRL框架在和速率与执行时间方面均优于传统基线方法（如WMMSE和最大功率方案），证明其在NextG网络中的实际可行性。