[论文解读] Data-Aided Channel Estimator for MIMO Systems via Reinforcement Learning

Yo–Seb Jeon, Jun Li+2 more|arXiv (Cornell University)|Mar 23, 2020

Advanced MIMO Systems Optimization参考文献 11被引用 4

一句话总结

该论文提出了一种基于强化学习的数据辅助信道估计算法，用于MIMO系统，通过选择性地将检测到的符号向量作为附加导频信号，以降低信道估计误差。通过将选择问题建模为马尔可夫决策过程，并利用强化学习推导出闭式策略，该方法在无需迭代处理或增加导频开销的情况下，实现了更低的MSE和更优的块错误率。

ABSTRACT

This paper presents a data-aided channel estimator that reduces the channel estimation error of the conventional linear minimum-mean-squared-error (LMMSE) method for multiple-input multiple-output communication systems. The basic idea is to selectively exploit detected symbol vectors obtained from data detection as additional pilot signals. To optimize the selection of the detected symbol vectors, a Markov decision process (MDP) is defined which finds the best selection to minimize the mean-squared-error (MSE) of the channel estimate. Then a reinforcement learning algorithm is developed to solve this MDP in a computationally efficient manner. Simulation results demonstrate that the presented channel estimator significantly reduces the MSE of the channel estimate and therefore improves the block error rate of the system, compared to the conventional LMMSE method.

研究动机与目标

• 在导频开销受限的条件下，降低MIMO系统中信道估计的均方误差（MSE）。
• 解决传统数据辅助信道估计中因检测符号不可靠而引发的误差传播问题。
• 开发一种非迭代、计算高效的算法，以提高接收端信道状态信息的准确性。
• 采用基于学习的筛选策略，将检测到的符号作为虚拟导频信号，而非使用固定或启发式规则。

提出的方法

• 该方法将检测符号的选择用于信道估计建模为马尔可夫决策过程（MDP），以最小化信道估计的MSE。
• 构建了一个强化学习框架以求解MDP，推导出动作选择（使用或跳过检测符号）的闭式最优策略。
• 该策略基于在符号块末尾使用与不使用某个检测符号向量时的预期MSE差异。
• 利用矩阵求逆引理和统计信道模型计算误差协方差矩阵，同时融合已知导频信号和检测符号。
• 通过比较不同动作下预期误差协方差矩阵的迹来确定最优动作，从而实现实时决策。
• 该方法通过一次遍历学习最佳符号选择，避免了迭代优化，降低了复杂度和延迟。

实验结果

研究问题

• RQ1 在导频开销受限的条件下，基于强化学习的方法是否能在信道估计精度上优于传统的LMMSE估计？
• RQ2 如何选择性地使用检测符号以改善信道估计，而无需增加导频开销或引入误差传播？
• RQ3 在非迭代方式下，选择检测符号向量以最小化信道估计MSE的最优策略是什么？
• RQ4 能否为数据辅助MIMO信道估计中符号选择的MDP公式推导出闭式解？
• RQ5 与现有迭代式数据辅助估计器相比，所提方法在块错误率和计算复杂度方面表现如何？

主要发现

• 与传统的LMMSE估计器相比，所提方法显著降低了信道估计的均方误差（MSE）。
• 由于信道估计误差降低，系统块错误率得到改善，且无需增加导频开销。
• 基于强化学习的符号选择策略实现了接近最优的性能，且具有闭式解，支持低复杂度实现。
• 该方法通过学习避免使用不可靠的检测符号，有效缓解了误差传播问题，而与之相比，非迭代数据辅助估计器通常使用所有检测符号。
• 仿真结果表明，所提估计器在MSE和块错误率方面均优于现有方法，尤其在低信噪比（SNR）环境下表现更优。
• 该方法无需迭代处理，降低了接收端的延迟和计算负载。