[论文解读] Deep Reinforcement Learning for Distributed Dynamic Power Allocation in Wireless Networks.

Yasar Sinan Nasir, Dongning Guo|arXiv (Cornell University)|Aug 1, 2018

Advanced MIMO Systems Optimization参考文献 27被引用 38

一句话总结

本文提出了一种无模型的、分布式的深度强化学习（DRL）框架，用于无线网络中的动态发射功率分配，其中每个基站利用本地信道状态信息（CSI）和来自邻居的QoS反馈，以优化加权和速率效用。该方法在存在CSI延迟和不准确的情况下，仍能实现实时近似最优性能，相较于传统方法在可扩展性和实用性方面表现更优。

ABSTRACT

This work demonstrates the potential of deep reinforcement learning techniques for transmit power control in emerging and future wireless networks. Various techniques have been proposed in the literature to find near-optimal power allocations, often by solving a challenging optimization problem. Most of these algorithms are not scalable to large networks in real-world scenarios because of their computational complexity and instantaneous cross-cell channel state information (CSI) requirement. In this paper, a model-free distributed dynamic power allocation scheme is developed based on deep reinforcement learning. Each transmitter collects CSI and quality of service (QoS) information from several neighbors and adapts its own transmit power accordingly. The objective is to maximize a weighted sum-rate utility function, which can be particularized to achieve maximum sum-rate or proportionally fair scheduling (with weights that are changing over time). Both random variations and delays in the CSI are inherently addressed using deep Q-learning. For a typical network architecture, the proposed algorithm is shown to achieve near-optimal power allocation in real time based on delayed CSI measurements available to the agents. This work indicates that deep reinforcement learning based radio resource management can be very fast and deliver highly competitive performance, especially in practical scenarios where the system model is inaccurate and CSI delay is non-negligible.

研究动机与目标

• 解决传统功率分配算法在大规模无线网络中因计算复杂度高而导致的可扩展性限制。
• 克服集中式优化方法中对瞬时、全局信道状态信息（CSI）的不切实际要求。
• 实现在CSI延迟和不准确情况下的动态无线环境中实时、分布式功率控制。
• 最大化一个灵活的加权和速率效用函数，以同时支持和速率最大化与比例公平性。
• 开发一种实用的无模型解决方案，能够适应系统不确定性与时变网络条件。

提出的方法

• 采用深度Q学习（DQN）作为核心学习算法，使智能体（发射机）能够在无需系统模型的情况下学习最优功率控制策略。
• 每个发射机作为独立智能体，观察来自邻近基站的本地CSI和QoS反馈。
• 智能体采用集中训练、分散执行（CTDE）范式，联合训练但独立行动。
• 奖励函数定义为加权和速率的变化，引导智能体向更高的频谱效率和公平性迈进。
• DQN架构包含深度神经网络，用于近似Q值函数，从而在复杂的状态-动作空间中实现泛化。
• 该算法通过经验回放和目标网络，内在地处理CSI延迟和随机变化，学习鲁棒策略。

实验结果

研究问题

• RQ1 深度强化学习能否在无需全局CSI的情况下，实现在大规模无线网络中的可扩展、分布式功率控制？
• RQ2 当CSI存在延迟或不准确时，基于DRL的方法在和速率与公平性方面的表现如何？
• RQ3 与传统优化方法相比，无模型DRL框架在多大程度上可实现近似最优性能？
• RQ4 该算法如何适应时变的网络条件和不断变化的QoS需求？
• RQ5 在存在实际系统不确定性与有限反馈的情况下，DRL框架能否保持高性能？

主要发现

• 所提出的基于DRL的功率分配方案即使在CSI延迟的情况下，也能在加权和速率方面实现近似最优性能。
• 该算法展现出强大的可扩展性和实时适应能力，适用于大规模和动态的无线网络。
• 该方法无需显式建模这些影响，即可有效处理信道状态信息的随机变化和延迟。
• 通过动态调整效用权重，该框架同时支持和速率最大化与比例公平性。
• 在计算效率和部署可行性方面，DRL方法优于传统的集中式优化技术。
• 该方法的无模型特性使其无需重新训练即可在多样化网络拓扑和信道条件下实现泛化。