[论文解读] Reinforcement Learning based Beamforming for Massive MIMO Radar Multi-target Detection.

Aya Mostafa Ahmed, Alaa Alameer Ahmad+4 more|arXiv (Cornell University)|May 10, 2020

Radar Systems and Signal Processing参考文献 32被引用 2

一句话总结

本文提出了一种基于强化学习（RL）的波束成形算法，用于大规模MIMO认知雷达，以实现在未知环境中动态干扰下的多目标检测。雷达作为RL智能体，通过实时环境反馈自适应地调整其波束图，显著优于全向波束成形，尤其在低信噪比、重尾噪声和快速变化的条件下表现更优。

ABSTRACT

This paper considers the problem of multi-target detection for massive multiple input multiple output (MMIMO) cognitive radar (CR). The concept of CR is based on the perception-action cycle that senses and intelligently adapts to the dynamic environment in order to optimally satisfy a specific mission. However, this usually requires a priori knowledge of the environmental model, which is not available in most cases. We propose a reinforcement learning (RL) based algorithm for cognitive beamforming in the presence of unknown disturbance statistics. The radar acts as an agent which continuously senses the unknown environment (i.e., targets and disturbance). Consequently, it optimizes the beamformers through tailoring the beampattern based on the acquired information. Furthermore, we propose a solution to the beamforming optimization problem with less complexity than the existing methods. Numerical simulations are performed to assess the performance of the proposed RL-based algorithm in both stationary and dynamic environments. The RL based beamforming is compared to the conventional omnidirectional approach with equal power allocation. As highlighted by the proposed numerical results, our RL-based beamformer greatly outperforms the omnidirectional one in terms of target detection performance. The performance improvement is even more remarkable under environmentally harsh conditions such as low SNR, heavy-tailed disturbance and rapidly changing scenarios.

研究动机与目标

• 解决在未知且时变环境条件下大规模MIMO认知雷达（MMIMO-CR）的多目标检测挑战。
• 克服传统波束成形方法依赖干扰统计特性先验知识的局限性。
• 开发一种低复杂度的波束成形优化框架，可适应实时环境变化。
• 使认知雷达能够通过与环境的持续交互，自主感知并自适应调整波束成形策略。
• 提升在恶劣传播环境（如低信噪比和非高斯干扰）下的目标检测性能。

提出的方法

• 将波束成形问题建模为马尔可夫决策过程（MDP），其中雷达为智能体，环境包括目标和未知干扰。
• 将状态空间定义为雷达对目标和干扰状况的当前感知，动作空间定义为波束成形权值向量。
• 设计奖励函数，以鼓励获得高信号干扰加噪声比（SINR）和准确的目标检测。
• 使用函数逼近（例如深度Q网络或类似RL架构）估计连续状态-动作空间的Q值函数。
• 通过经验回放和目标网络训练RL智能体，以稳定学习并提高收敛性。
• 通过基于实时反馈动态调整波束图，优化波束成形器，最小化干扰并最大化目标响应。

实验结果

研究问题

• RQ1 强化学习是否能在不依赖干扰统计特性先验知识的前提下，实现大规模MIMO雷达中的有效波束成形？
• RQ2 与传统的全向波束成形相比，基于RL的波束成形器在目标检测准确率方面表现如何？
• RQ3 在低信噪比和非高斯（重尾）干扰条件下，所提出的RL方法的性能增益如何？
• RQ4 该算法在目标跟踪过程中如何适应快速变化的环境动态？
• RQ5 与现有基于优化的波束成形技术相比，所提出方法在计算复杂度方面降低了多少？

主要发现

• 在所有测试场景中，基于RL的波束成形器在目标检测性能上显著优于全向波束成形方法。
• 在低信噪比条件下，RL方法在检测概率方面表现出显著提升，尤其在干扰为非高斯分布时更为明显。
• 在快速变化的环境中，RL智能体比静态或预设计的波束成形器更有效地自适应调整其波束成形策略。
• 所提出方法对重尾干扰表现出鲁棒性，在传统方法失效时仍能保持高检测准确率。
• 与传统基于优化的波束成形算法相比，基于RL的方法在保持优异性能的同时显著降低了计算复杂度。
• 数值结果证实，RL智能体能够学习到将能量聚焦于目标方向、同时对干扰进行零陷的波束图形状，即使未显式建模环境。