[论文解读] Cognitive Radar Using Reinforcement Learning in Automotive Applications

Pengfei Liu, Yimin Liu+3 more|arXiv (Cornell University)|Apr 24, 2019

Radar Systems and Signal Processing参考文献 22被引用 9

一句话总结

本文提出一种增强强化学习的认知雷达（RL-CR）用于汽车频谱分配，使车辆能够通过长短期记忆（LSTM）网络对时间观测进行聚合，自主选择频段。与集中式或其他分布式方法相比，该方法在极少环境建模需求下，降低了车车间干扰和通信开销。

ABSTRACT

The concept of cognitive radar (CR) enables radar systems to achieve intelligent adaption to a changeable environment with feedback facility from receiver to transmitter. However, the implementation of CR in a fast-changing environment usually requires a well-known environmental model. In our work, we stress the learning ability of CR in an unknown environment using a combination of CR and reinforcement learning (RL), called RL-CR. Less or no model of the environment is required. We also apply the general RL-CR to a specific problem of automotive radar spectrum allocation to mitigate mutual interference. Using RL-CR, each vehicle can autonomously choose a frequency subband according to its own observation of the environment. Since radar's single observation is quite limited compared to the overall information of the environment, a long short-term memory (LSTM) network is utilized so that radar can decide the next transmitted subband by aggregating its observations over time. Compared with centralized spectrum allocation approaches, our approach has the advantage of reducing communication between vehicles and the control center. It also outperforms some other distributive frequency subband selecting policies in reducing interference under certain circumstances.

研究动机与目标

• 解决在极少环境建模条件下，动态汽车雷达系统中的频谱分配挑战。
• 在密集交通场景中，不依赖集中协调，减少车辆间的相互干扰。
• 仅利用本地观测和时间学习，实现自主、实时的频段子带选择。
• 通过去中心化频谱分配决策，减少车辆与控制中心之间的通信负担。
• 在动态条件下，优于现有分布式频段选择策略的干扰抑制性能。

提出的方法

• 将强化学习（RL）与认知雷达（CR）结合，形成RL-CR，实现在未知环境中的自适应学习。
• 利用长短期记忆（LSTM）网络聚合时间观测，提升决策能力，超越单帧数据的局限。
• 为每辆车训练RL智能体，基于本地干扰观测和历史上下文选择最优频段子带。
• 将频谱分配问题建模为马尔可夫决策过程（MDP），其中状态包含观测到的干扰水平，动作为子带选择。
• 设计奖励函数，对干扰进行惩罚，并鼓励频谱多样性与稳定性。
• 去中心化决策机制，使每辆车独立学习，同时保持全系统干扰降低。

实验结果

研究问题

• RQ1 强化学习能否使认知雷达在无先验环境建模的情况下，适应未知、动态的汽车频谱环境？
• RQ2 与仅使用当前观测的模型相比，LSTM网络的集成如何提升频谱分配决策？
• RQ3 与集中式及其他分布式频谱分配策略相比，RL-CR方法在多大程度上减少了相互干扰？
• RQ4 去中心化学习对车辆与基础设施之间通信开销有何影响？
• RQ5 在不同交通密度和干扰条件下，RL-CR系统表现如何？

主要发现

• RL-CR方法在极少环境建模条件下，显著降低了动态汽车环境中车辆间的相互干扰。
• LSTM的使用通过时间上观测的聚合，实现了更优的长期决策，提升了子带选择的准确性。
• RL-CR的去中心化特性相比集中式频谱分配，显著降低了车辆与控制中心之间的通信负载。
• 在特定交通和干扰条件下，所提方法在干扰抑制方面优于其他分布式子带选择策略。
• 即使在环境动态特性不完全已知或不可预测的情况下，系统仍能实现稳定且自适应的频谱分配。