[论文解读] Distributed Uplink Beamforming in Cell-Free Networks Using Deep Reinforcement Learning

Firas Fredj, Yasser Al-Eryani+3 more|arXiv (Cornell University)|Jun 26, 2020

Advanced MIMO Systems Optimization被引用 6

一句话总结

该论文提出了一种基于深度强化学习（DRL）的分布式上行链路波束成形方法，用于无蜂窝网络，在保持高性能的同时降低计算复杂度。该方法提出了一种集中式DDPG方法，并通过D4PG引入分布式经验回放，实现了比完全分布式DRL更快的收敛速度和更好的可扩展性，且D4PG方案在所有网络规模下均优于线性波束成形方法。

ABSTRACT

The emergence of new wireless technologies together with the requirement of massive connectivity results in several technical issues such as excessive interference, high computational demand for signal processing, and lengthy processing delays. In this work, we propose several beamforming techniques for an uplink cell-free network with centralized, semi-distributed, and fully distributed processing, all based on deep reinforcement learning (DRL). First, we propose a fully centralized beamforming method that uses the deep deterministic policy gradient algorithm (DDPG) with continuous space. We then enhance this method by enabling distributed experience at access points (AP). Indeed, we develop a beamforming scheme that uses the distributed distributional deterministic policy gradients algorithm (D4PG) with the APs representing the distributed agents. Finally, to decrease the computational complexity, we propose a fully distributed beamforming scheme that divides the beamforming computations among APs. The results show that the D4PG scheme with distributed experience achieves the best performance irrespective of the network size. Furthermore, the proposed distributed beamforming technique performs better than the DDPG algorithm with centralized learning only for small-scale networks. The performance superiority of the DDPG model becomes more evident as the number of APs and/or users increases. Moreover, during the operation stage, all DRL models demonstrate a significantly shorter processing time than that of the conventional gradient descent (GD) solution.

研究动机与目标

• 解决在大量接入点（APs）和用户设备（UEs）的无蜂窝网络中，集中式波束成形带来的高计算复杂度问题。
• 通过将波束成形计算分布在地理位置分散的APs上，降低中央处理单元（CPU）的信号处理负载。
• 开发一种基于DRL的波束成形框架，实现在动态无线环境中高效、可扩展且低时延的上行链路传输。
• 将所提出的DRL方案与传统的线性波束成形技术（MMSE和共轭波束成形）进行基准对比，以评估性能和收敛性。
• 研究集中式与分布式DRL学习架构之间在性能与计算复杂度之间的权衡。

提出的方法

• 提出一种基于集中式DDPG的DRL框架，用于在无蜂窝网络中优化上行链路波束成形，具有连续动作空间。
• 通过使用分布式确定性策略梯度（D4PG）算法增强DDPG模型，利用来自多个AP的分布式经验，提升收敛速度和性能。
• 提出一种完全分布式的DRL波束成形方案，将波束成形计算卸载至各个AP，降低CPU负载并实现可扩展部署。
• 采用基于和频谱效率的奖励函数训练DRL智能体，使用经验回放和目标网络更新策略梯度。
• 通过基于MMSE的导频检测进行信道状态信息（CSI）估计，为DRL智能体提供准确的状态输入。
• 使用大量CSI实现离线训练DRL模型，从而在在线运行时实现快速推理。

实验结果

研究问题

• RQ1 基于DRL的波束成形是否能在无蜂窝上行链路网络中优于传统的线性波束成形方法（MMSE和共轭波束成形）？
• RQ2 在不同网络规模下，集中式DDPG与分布式D4PG在收敛速度和频谱效率方面的性能如何比较？
• RQ3 在AP之间分布学习过程在多大程度上降低了中心处理器的计算负载，同时保持系统性能？
• RQ4 与传统方法相比，基于DRL的波束成形方案在AP和UE数量增加时的可扩展性如何？
• RQ5 与梯度上升等迭代优化方法相比，训练好的DRL模型的推理延迟是多少？

主要发现

• D4PG-based分布式学习方案在所有测试网络规模下均表现最佳，优于MMSE和共轭波束成形方法。
• D4PG模型的收敛速度显著快于梯度上升方法，且无论网络规模如何，推理时间均低于1秒。
• 在大规模网络中，集中式DDPG模型优于分布式D4PG模型，体现了性能与复杂度之间的权衡。
• 尽管完全分布式DRL方案降低了CPU复杂度，但在大规模网络中仅能匹配DDPG在小规模网络中的性能，且随着AP和UE数量的增加，性能差距进一步扩大。
• 基于DRL的方法实现了接近最优的频谱效率，且推理延迟可忽略不计，适用于动态B5G网络的实际部署。
• DRL模型在不同CSI实现上泛化良好，经过在多样化信道条件下的离线训练后，性能保持稳定。