[论文解读] Deep reinforcement learning approach to MIMO precoding problem: Optimality and Robustness

Heunchul Lee, Maksym A. Girnyk+1 more|arXiv (Cornell University)|Jun 30, 2020

Advanced MIMO Systems Optimization参考文献 25被引用 11

一句话总结

本文提出了一种基于深度强化学习（DRL）的MIMO系统预编码框架，采用DQN和DDPG算法，在基于码本和非码本的场景下学习最优预编码策略。该框架在简单MIMO环境中表现出近似最优性能，并在复杂频率选择性信道中优于传统近似算法，证明了其在真实环境下的鲁棒性和适应性。

ABSTRACT

In this paper, we propose a deep reinforcement learning (RL)-based precoding framework that can be used to learn an optimal precoding policy for complex multiple-input multiple-output (MIMO) precoding problems. We model the precoding problem for a single-user MIMO system as an RL problem in which a learning agent sequentially selects the precoders to serve the environment of MIMO system based on contextual information about the environmental conditions, while simultaneously adapting the precoder selection policy based on the reward feedback from the environment to maximize a numerical reward signal. We develop the RL agent with two canonical deep RL (DRL) algorithms, namely deep Q-network (DQN) and deep deterministic policy gradient (DDPG). To demonstrate the optimality of the proposed DRL-based precoding framework, we explicitly consider a simple MIMO environment for which the optimal solution can be obtained analytically and show that DQN- and DDPG-based agents can learn the near-optimal policy to map the environment state of MIMO system to a precoder that maximizes the reward function, respectively, in the codebook-based and non-codebook based MIMO precoding systems. Furthermore, to investigate the robustness of DRL-based precoding framework, we examine the performance of the two DRL algorithms in a complex MIMO environment, for which the optimal solution is not known. The numerical results confirm the effectiveness of the DRL-based precoding framework and show that the proposed DRL-based framework can outperform the conventional approximation algorithm in the complex MIMO environment.

研究动机与目标

• 开发一种基于DRL的框架，无需依赖解析信道模型，即可在复杂MIMO系统中学习最优预编码策略。
• 评估DRL智能体在简单MIMO环境中最优解可解析获得时的最优性。
• 评估基于DRL的预编码在无最优解存在的复杂真实MIMO环境中是否具备鲁棒性。
• 比较DQN与DDPG在基于码本和非码本的MIMO预编码系统中的性能。
• 证明DRL在真实频率选择性衰落条件下，相较于传统近似算法，在误比特率（BER）性能方面具有优势。

提出的方法

• 将MIMO预编码问题建模为马尔可夫决策过程（MDP），其中智能体根据信道状态信息选择预编码器，以最大化奖励信号。
• 状态表示从导频资源元素上信道矩阵的实部和虚部向量化得到，形成神经网络的3D数组输入。
• 在基于码本的预编码中使用DQN处理离散动作空间，而在非码本基于的系统中使用DDPG处理连续动作空间。
• DRL智能体通过经验回放和目标网络进行训练以稳定学习，奖励函数基于数据资源元素上的测量BER。
• DQN和DDPG智能体均采用包含三个隐藏层（3840、512、128个神经元）的全连接神经网络，激活函数为ReLU。
• 在300万个子带预训练后，使用4-QAM和16-QAM调制在两径TDL信道模型上对性能进行评估。

实验结果

研究问题

• RQ1 DRL智能体是否能在已知解析最优解的简单MIMO环境中学习到近似最优的预编码策略？
• RQ2 在复杂频率选择性MIMO信道中，DQN与DDPG的性能与传统近似算法相比如何？
• RQ3 基于DRL的预编码框架是否能在最优解未知的环境中保持鲁棒性和适应性？
• RQ4 在真实4×2 MIMO-OFDM系统条件下，DRL在BER性能方面相较于传统方法能实现多大程度的超越？
• RQ5 DQN/DDPG的结构是否天然契合基于码本和非码本MIMO预编码的设计原则？

主要发现

• DQN和DDPG智能体在简单MIMO环境中成功学习到近似最优的预编码策略，与解析最优解高度一致。
• 在复杂频率选择性信道（TDL模型）中，基于DRL的框架在4-QAM和16-QAM调制下均优于传统近似算法的BER性能。
• 基于DRL的框架实现了比传统方法更低的误比特率，BER奖励的累积分布函数（CDF）分析证实了性能增益。
• DRL智能体在预训练后对未见过的子带表现出强大的泛化能力，表明其对新信道条件具有良好的适应性。
• 该框架在基于码本和非码本的预编码模式下均表现出一致的优越性，验证了其广泛适用性。
• 结果证实，DRL可作为未来6G无线系统中传统基于优化的预编码的可行且高性能的替代方案。