[論文レビュー] Cognitive Radar Using Reinforcement Learning in Automotive Applications

Pengfei Liu, Yimin Liu+3 more|arXiv (Cornell University)|Apr 24, 2019

Radar Systems and Signal Processing参考文献 22被引用数 9

ひとこと要約

本論文は、自己学習による周波数帯域選択を可能にする強化学習強化型認知レーダ（RL-CR）を提案し、LSTMネットワークを用いた時間的観測の集約により、自動車の周波数帯域割り当てを実現する。中央集権的または他の分散手法と比較して、環境モデル化を最小限に抑えつつ、車両間の干渉と通信オーバーヘッドを低減する。

ABSTRACT

The concept of cognitive radar (CR) enables radar systems to achieve intelligent adaption to a changeable environment with feedback facility from receiver to transmitter. However, the implementation of CR in a fast-changing environment usually requires a well-known environmental model. In our work, we stress the learning ability of CR in an unknown environment using a combination of CR and reinforcement learning (RL), called RL-CR. Less or no model of the environment is required. We also apply the general RL-CR to a specific problem of automotive radar spectrum allocation to mitigate mutual interference. Using RL-CR, each vehicle can autonomously choose a frequency subband according to its own observation of the environment. Since radar's single observation is quite limited compared to the overall information of the environment, a long short-term memory (LSTM) network is utilized so that radar can decide the next transmitted subband by aggregating its observations over time. Compared with centralized spectrum allocation approaches, our approach has the advantage of reducing communication between vehicles and the control center. It also outperforms some other distributive frequency subband selecting policies in reducing interference under certain circumstances.

研究の動機と目的

• 環境モデル化を最小限に抑えつつ、動的スペクトル割り当ての課題に取り組む。
• 中央集権的制御に依存せずに、混雑した交通状況下での車両間相互干渉を低減する。
• 局所的観測と時間的学習のみを用いて、自律的かつリアルタイムな周波数帯域選択を可能にする。
• スペクトル割り当て意思決定を分散化することで、車両と制御センター間の通信負荷を低減する。
• 動的条件下での干渉低減性能を向上させ、既存の分散周波数選択ポリシーを凌駕する。

提案手法

• 強化学習（RL）と認知レーダ（CR）を統合し、未知環境における適応的学習を可能にするRL-CRを構築する。
• 長短期記憶（LSTM）ネットワークを活用し、時間的観測を統合することで、単一フレームのデータを超えた意思決定を向上させる。
• 各車両にRLエージェントを導入し、局所的な干渉観測と歴史的文脈に基づいて最適な周波数帯域を選択する。
• スペクトル割り当て問題をマルコフ決定過程（MDP）として定式化し、状態は観測された干渉レベル、行動は帯域選択とする。
• 干渉をペナルティ化し、スペクトル多様性と安定性を促進する報酬関数を設計する。
• 各車両が独立に学習できるように意思決定を分散化し、全体的な干渉低減を維持する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、環境モデル化を事前に必要とせず、未知で動的なスペクトル環境において自動車レーダーが適応可能か？
• RQ2 LSTMネットワークの統合は、現在の観測のみを用いるモデルと比較して、どのようにスペクトル割り当て意思決定を改善するか？
• RQ3 中央集権的および他の分散型スペクトル割り当て戦略と比較して、RL-CRアプローチは相互干渉をどの程度低減するか？
• RQ4 分散学習は、車両とインfraストラクチャ間の通信負荷にどのような影響を及ぼすか？
• RQ5 交通密度や干渉状況の変動にさらされても、RL-CRシステムはどのように性能を発揮するか？

主な発見

• RL-CRアプローチは、環境モデル化を最小限に抑えつつ、動的自動車環境下での車両間相互干渉を顕著に低減する。
• LSTMの活用により、時間的な観測を集約することで長期的意思決定が向上し、帯域選択の正確性が向上する。
• RL-CRの分散的性質により、中央集権的スペクトル割り当てと比較して、車両と制御センター間の通信負荷が低減される。
• 特定の交通状況および干渉条件下では、他の分散型周波数帯域選択ポリシーを上回る干渉低減性能を示す。
• 環境の動的変化が完全に把握されていなくても、安定的かつ適応的スペクトル割り当てを達成する。