[논문 리뷰] Deep Reinforcement Learning for UAV Navigation through Massive MIMO

Hongji Huang, Yuchun Yang외 4명|arXiv (Cornell University)|2019. 01. 30.

UAV Applications and Optimization인용 수 1

한 줄 요약

이 논문은 실시간 수신 신호 강도를 기반으로 최적의 드론-지상 링크를 동적으로 선택하여 대량의 MIMO 시스템에서 드론 항법을 최적화하기 위해 딥 Q네트워크(DQN) 기반 강화학습 프레임워크를 제안한다. 이 방법은 최적의 항법 정책을 종단 간 학습함으로써 기존 방법에 비해 향상된 커버리지와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Unmanned aerial vehicles (UAVs) technique has been recognized as a promising solution in future wireless connectivity from the sky, and UAV navigation is one of the most significant open research problems, which has attracted wide interest in the research community. However, the current UAV navigation schemes are unable to capture the UAV motion and select the best UAV-ground links in real time, and these weaknesses overwhelm the UAV navigation performance. To tackle these fundamental limitations, in this paper, we merge the state-of-theart deep reinforcement learning with the UAV navigation through massive multiple-input-multiple-output (MIMO) technique. To be specific, we carefully design a deep Q-network (DQN) for optimizing the UAV navigation by selecting the optimal policy, and then we propose a learning mechanism for processing the DQN. The DQN is trained so that the agent is capable of making decisions based on the received signal strengths for navigating theUAVs with the aid of the powerful Q-learning. Simulation results are provided to corroborate the superiority of the proposed schemes in terms of the coverage and convergence compared with those of the other schemes.

연구 동기 및 목표

• 현재 드론 항법 기법이 최적의 드론-지상 링크를 동적으로 선택하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 딥 강화학습을 활용해 드론의 실시간 의사결정을 가능하게 하기 위해.
• 드론 기반 대량 MIMO 시스템에서 네트워크 커버리지와 수렴 속도를 향상시키기 위해.
• DQN 에이전트가 드론 비행 정책을 적응적으로 최적화할 수 있도록 학습 메커니즘을 설계하기 위해.

제안 방법

• 수신 신호 강도 지표(RSSI)를 기반으로 최적의 항법 정책을 학습하기 위해 딥 Q네트워크(DQN)를 설계한다.
• 상태 관측값(예: RSSI)을 행동 결정(예: 비행 방향 또는 고도)으로 매핑하는 강화학습 프레임워크를 사용해 DQN 에이전트를 훈련시킨다.
• 상태-행동 쌍을 처리하여 Q값 추정치를 갱신하고 시간이 지남에 따라 정책 선택을 정교화한다.
• DQN 에이전트가 신뢰할 수 있는 채널 상태 정보와 풍부한 공간 다양성을 확보하기 위해 대량 MIMO를 활용한다.
• 커버리지와 링크 품질과 관련된 장기 누적 보상 최적화를 위해 시뮬레이션 환경에서 DQN을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 대량 MIMO 네트워크에서 실시간 드론 항법을 어떻게 향상시킬 수 있는가?
• RQ2 상태 입력으로 수신 신호 강도를 사용할 경우 드론 링크 선택 성능에 어떤 영향을 미치는가?
• RQ3 제안된 DQN 기반 방법은 커버리지와 수렴 측면에서 기존 드론 항법 기법과 비교해 어떻게 다른가?
• RQ4 DQN 에이전트는 동적 채널 조건 하에서 최적의 드론-지상 링크를 적응적으로 선택할 수 있는가?

주요 결과

• 제안된 DQN 기반 항법 기법은 시뮬레이션에서 기준 방법에 비해 열등한 네트워크 커버리지를 달성한다.
• 학습 과정이 기존 항법 알고리즘보다 더 빠르게 수렴하여 훈련 효율성이 향상됨을 나타낸다.
• DQN 에이전트는 실시간 RSSI 피드백 기반으로 최적의 드론-지상 링크 선택을 성공적으로 학습한다.
• 대량 MIMO와 딥 강화학습의 통합은 드론 항법의 강건성과 적응성을 향상시킨다.