[论文解读] Dynamic Channel Access and Power Control in Wireless Interference Networks via Multi-Agent Deep Reinforcement Learning

Ziyang Lu, Zhong Chen+1 more|arXiv (Cornell University)|Dec 24, 2021

Full-Duplex Wireless Communications被引用 6

一句话总结

该论文提出了一种多智能体深度强化学习（DRL）框架，用于无线干扰网络中的联合动态频谱接入与功率控制。通过基于值函数的DQN和策略梯度方法进行集中式训练，该方法实现了约90%的最优性能（相较于WMMSE与穷举搜索的组合结果），而联邦DRL则实现了低通信量、隐私保护的分布式学习，性能表现相当。

ABSTRACT

Due to the scarcity in the wireless spectrum and limited energy resources especially in mobile applications, efficient resource allocation strategies are critical in wireless networks. Motivated by the recent advances in deep reinforcement learning (DRL), we address multi-agent DRL-based joint dynamic channel access and power control in a wireless interference network. We first propose a multi-agent DRL algorithm with centralized training (DRL-CT) to tackle the joint resource allocation problem. In this case, the training is performed at the central unit (CU) and after training, the users make autonomous decisions on their transmission strategies with only local information. We demonstrate that with limited information exchange and faster convergence, DRL-CT algorithm can achieve 90% of the performance achieved by the combination of weighted minimum mean square error (WMMSE) algorithm for power control and exhaustive search for dynamic channel access. In the second part of this paper, we consider distributed multi-agent DRL scenario in which each user conducts its own training and makes its decisions individually, acting as a DRL agent. Finally, as a compromise between centralized and fully distributed scenarios, we consider federated DRL (FDRL) to approach the performance of DRL-CT with the use of a central unit in training while limiting the information exchange and preserving privacy of the users in the wireless system. Via simulation results, we show that proposed learning frameworks lead to efficient adaptive channel access and power control policies in dynamic environments.

研究动机与目标

• 解决在频谱和能量受限的密集、动态无线干扰网络中高效资源分配的挑战。
• 克服传统基于模型的优化方法的局限性，后者需要完整的系统知识，且在网络规模增大时扩展性差。
• 开发一种可扩展、自适应的学习框架，使用户能够基于本地信息实现自主、局部的决策。
• 通过提出联邦DRL，平衡性能、通信开销与用户隐私，在集中式与完全分布式训练之间取得折中。
• 在信道条件随时间缓慢但显著变化的动态环境中，验证方法的鲁棒性。

提出的方法

• 提出一种集中式训练（DRL-CT）框架，由中心单元使用基于值函数的DQN和策略梯度算法训练DRL智能体，奖励函数针对和速率最大化或比例公平性进行定制。
• 采用多智能体DRL架构，每个用户作为独立的DRL智能体，在训练后基于本地观测自主决策。
• 引入联邦DRL（FDRL），在最小化信息交换并保护用户隐私的同时，模拟集中式训练的性能。
• 在FDRL中使用低精度量化和纯数字通信进行信息交换，与100次迭代的集中式训练相比，通信开销降低约61%。
• 设计一种动态环境模型，采用具有不同时间常数（Tv）的相关瑞利衰落信道，以模拟真实、缓慢变化的信道条件。
• 采用马尔可夫决策过程（MDP）建模，状态空间包括信道状态信息、用户活动状态和功率水平，动作空间涵盖信道选择与功率分配。

实验结果

研究问题

• RQ1 多智能体DRL框架是否能在不依赖完整网络状态信息的情况下，实现接近最优的联合动态频谱接入与功率控制性能？
• RQ2 与WMMSE和穷举搜索等传统优化方法相比，基于DRL的集中式训练在和速率与收敛性方面表现如何？
• RQ3 在无线网络的分布式DRL训练中，性能、通信开销与隐私之间的权衡关系如何？
• RQ4 在信道条件缓慢但显著变化的动态环境中进行训练，如何影响DRL策略的泛化能力与适应性？
• RQ5 联邦DRL是否能有效复现集中式训练的性能，同时减少信息交换并保护用户数据？

主要发现

• DRL-CT框架实现了约90%的最优性能，该最优性能由WMMSE用于功率控制与穷举搜索用于频谱接入的组合获得。
• 在动态频谱接入的基础上引入功率控制，相比仅使用频谱接入，显著提升了和速率性能。
• DRL-CT算法收敛速度更快，且所需信息交换更少，适用于实时部署。
• 在动态环境中，即使在静态条件下训练的DRL智能体，仍能良好泛化至缓慢变化的信道，表现出强适应性。
• 与100次迭代的集中式训练相比，联邦DRL将数字信息交换量降低了约61%，同时保持了优异的性能。
• DDRL在动态环境中性能下降，但通过联邦平均实现用户协作，可提升策略的泛化能力与适应性。