[논문 리뷰] Cognitive Radar Using Reinforcement Learning in Automotive Applications

Pengfei Liu, Yimin Liu외 3명|arXiv (Cornell University)|2019. 04. 24.

Radar Systems and Signal Processing참고 문헌 22인용 수 9

한 줄 요약

이 논문은 강화학습 기반 인지 레이더(RL-CR)를 제안하여 자동차 스펙트럼 할당을 가능하게 하며, LSTM 네트워크를 통한 시간적 관측 값 집약을 통해 차량이 자율적으로 주파수 대역을 선택할 수 있도록 한다. 기존의 중심화된 또는 다른 분산 방법에 비해 상호 간섭과 통신 오버헤드를 감소시키며, 환경 모델링이 최소한으로 요구된다.

ABSTRACT

The concept of cognitive radar (CR) enables radar systems to achieve intelligent adaption to a changeable environment with feedback facility from receiver to transmitter. However, the implementation of CR in a fast-changing environment usually requires a well-known environmental model. In our work, we stress the learning ability of CR in an unknown environment using a combination of CR and reinforcement learning (RL), called RL-CR. Less or no model of the environment is required. We also apply the general RL-CR to a specific problem of automotive radar spectrum allocation to mitigate mutual interference. Using RL-CR, each vehicle can autonomously choose a frequency subband according to its own observation of the environment. Since radar's single observation is quite limited compared to the overall information of the environment, a long short-term memory (LSTM) network is utilized so that radar can decide the next transmitted subband by aggregating its observations over time. Compared with centralized spectrum allocation approaches, our approach has the advantage of reducing communication between vehicles and the control center. It also outperforms some other distributive frequency subband selecting policies in reducing interference under certain circumstances.

연구 동기 및 목표

• 최소한의 환경 모델링으로도 동적 스펙트럼 할당 문제를 해결한다.
• 중앙 집중식 조율에 의존하지 않고도 밀도 높은 교통 상황에서 차량 간 상호 간섭을 최소화한다.
• 지역 관측 값과 시간적 학습을 유일한 자료로 사용하여 자율적이고 실시간 주파수 대역 선택을 가능하게 한다.
• 스펙트럼 할당 결정을 분산화하여 차량과 제어 센터 간 통신 부담을 최소화한다.
• 다양한 조건에서의 동적 환경에서 기존의 분산 주파수 선택 정책보다 간섭 감소 성능을 향상시킨다.

제안 방법

• 강화학습(RL)과 인지 레이더(CR)를 융합하여 RL-CR를 구성함으로써, 미지의 환경에서의 적응적 학습을 가능하게 한다.
• 장기적 기억을 갖는 순환 신경망(LSTM)을 활용하여 시간적 관측 값을 집약함으로써 단일 프레임 데이터를 초월한 의사결정을 향상시킨다.
• 각 차량에 대해 RL 에이전트를 학습시켜 지역 간섭 관측 값과 이전 맥락을 기반으로 최적의 주파수 대역을 선택하도록 한다.
• 스펙트럼 할당 문제를 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 관측된 간섭 수준을 포함하고 행동은 대역 선택을 의미한다.
• 간섭을 처벌하고 스펙트럼 다양성과 안정성을 장려하는 보상 함수를 설계한다.
• 결정을 분산화하여 각 차량이 독립적으로 학습하면서도 전체 시스템의 간섭 감소를 유지한다.

실험 결과

연구 질문

• RQ1 강화학습은 사전 환경 모델링 없이도 미지의 동적 스펙트럼 환경에서 자동차 환경의 인지 레이더가 적응할 수 있는가?
• RQ2 현재 관측 값만을 사용하는 모델에 비해 LSTM 네트워크 통합이 스펙트럼 할당 의사결정에 어떤 영향을 미치는가?
• RQ3 중앙 집중식 및 다른 분산 스펙트럼 할당 전략에 비해 RL-CR 접근 방식은 상호 간섭을 어느 정도 감소시키는가?
• RQ4 분산 학습이 차량과 인프라 간 통신 오버헤드에 어떤 영향을 미치는가?
• RQ5 RL-CR 시스템은 다양한 교통 밀도와 간섭 조건 하에서 어떻게 성능을 발휘하는가?

주요 결과

• RL-CR 접근 방식은 최소한의 환경 모델링으로도 동적 자동차 환경에서 차량 간 상호 간섭을 크게 감소시킨다.
• LSTM의 활용은 시간에 걸친 관측 값을 집약함으로써 장기적 의사결정을 향상시켜 주파수 대역 선택 정확도를 높인다.
• RL-CR의 분산 구조는 중심화된 스펙트럼 할당에 비해 차량과 제어 센터 간 통신 부담을 감소시킨다.
• 특정 교통 및 간섭 조건 하에서 다른 분산 주파수 대역 선택 정책보다 간섭 감소 성능에서 뛰어난 성능을 발휘한다.
• 환경의 동적 특성이 완전히 알려지지 않거나 예측 불가능한 상황에서도 안정적이고 적응 가능한 스펙트럼 할당을 달성한다.