[论文解读] Deep Reinforcement Learning for Improving Downlink mmWave Communication Performance

Faris B. Mismar, Brian L. Evans|arXiv (Cornell University)|Jul 10, 2017

Millimeter-Wave Propagation and Modeling被引用 3

一句话总结

本文提出一种深度强化学习（DRL）方法，通过学习最优波束赋形动作序列，以优化室内毫米波（mmWave）蜂窝网络中的下行链路SINR。仿真结果表明，尽管存在网络随机性，DRL智能体仍能实现可行的SINR提升，验证了其在动态mmWave环境中的有效性。

ABSTRACT

We propose a method to improve the DL SINR for a single cell indoor base station operating in the millimeter wave frequency range using deep reinforcement learning. In this paper, we use the deep reinforcement learning model to arrive at optimal sequences of actions to improve the cellular network SINR value from a starting to a feasible target value. While deep reinforcement learning has been discussed extensively in literature, its applications in the cellular networks in general and in mmWave propagations are new and starting to gain attention. We have run simulations and have shown that an optimal action sequence is feasible even against the randomness of the network actions.

研究动机与目标

• 提升单小区室内mmWave网络中的下行链路信号干扰加噪声比（SINR）。
• 解决mmWave通信中动态且随机的传播条件挑战。
• 开发一种强化学习框架，以学习最优波束赋形动作序列，实现目标SINR水平。
• 在真实网络随机性和干扰条件下，验证DRL方法的可行性和鲁棒性。

提出的方法

• 采用深度强化学习模型，学习在mmWave频段中最大化下行链路SINR的动作序列。
• 将波束赋形过程建模为马尔可夫决策过程（MDP），其中动作表示波束赋形调整。
• 使用仿真环境模拟具有路径损耗、阴影衰落和干扰的现实室内mmWave传播特性。
• 使用奖励函数训练DRL智能体，以鼓励SINR向目标值提升。
• 优化策略网络，将当前网络状态映射到最优波束赋形动作。
• 在多个随机网络状态下评估智能体性能，以测试其鲁棒性。

实验结果

研究问题

• RQ1 深度强化学习能否学习到有效的波束赋形动作序列，以改善mmWave网络中的下行链路SINR？
• RQ2 DRL智能体在室内mmWave传播环境固有的随机性下表现如何？
• RQ3 即使在信道动态变化的情况下，是否仍可通过学习到的动作序列实现可行的SINR目标？
• RQ4 DRL策略在多样化且不可预测的网络状态下具有多强的鲁棒性？

主要发现

• 深度强化学习智能体成功学习到最优波束赋形动作序列，以提升下行链路SINR。
• 该方法在面对网络动态随机性和信道变化时，仍能实现可行的SINR提升。
• 仿真结果证实，DRL方法在动态室内mmWave环境中具有鲁棒性和有效性。
• 所提出方法展示了DRL在mmWave蜂窝网络中实时波束管理的可行性。