[논문 리뷰] A Deep Reinforcement Learning Approach to Efficient Drone Mobility Support

Yun Chen, Xingqin Lin외 2명|arXiv (Cornell University)|2020. 05. 11.

UAV Applications and Optimization참고 문헌 29인용 수 5

한 줄 요약

이 논문은 지상 5G 라디오 액세스 네트워크에서 드론의 핸드오버 결정을 최적화하기 위해 딥 Q네트워크(DQN)-기반 강화학습 프레임워크를 제안한다. 이는 신호 지연을 줄이고도 안정적인 연결성을 유지한다. 이 방법은 핸드오버 빈도와 신호 세기를 동적으로 균형 잡아, 최악의 경우 4.5 dB의 RSRP 저하를 견딜 수 있는 70%의 비행에서 핸드오버 수를 최대 10배까지 감소시킨다.

ABSTRACT

The growing deployment of drones in a myriad of applications relies on seamless and reliable wireless connectivity for safe control and operation of drones. Cellular technology is a key enabler for providing essential wireless services to flying drones in the sky. Existing cellular networks targeting terrestrial usage can support the initial deployment of low-altitude drone users, but there are challenges such as mobility support. In this paper, we propose a novel handover framework for providing efficient mobility support and reliable wireless connectivity to drones served by a terrestrial cellular network. Using tools from deep reinforcement learning, we develop a deep Q-learning algorithm to dynamically optimize handover decisions to ensure robust connectivity for drone users. Simulation results show that the proposed framework significantly reduces the number of handovers at the expense of a small loss in signal strength relative to the baseline case where a drone always connect to a base station that provides the strongest received signal strength.

연구 동기 및 목표

• 지상 5G 네트워크 내 드론 이동성에서 빈번하고 비효율적인 핸드오버 문제를 해결한다.
• 과도한 신호 지연과 펜치포잉 효과를 유발하는 전통적인 신호 세기 기반 핸드오버 정책의 한계를 극복한다.
• 핸드오버 비용과 수신 신호 세기를 균형 잡는 동적이고 적응형 핸드오버 메커니즘을 개발하여 네트워크 효율성을 향상시킨다.
• 딥 강화학습을 활용해 고고도, 고속 이동 드론 사용자에게 견고하고 저지연 연결성을 제공한다.
• 복잡하고 대규모 환경에서 표본 Q학습보다 뛰어난 성능을 보이는 확장 가능한 드론 이동성 관리 솔루션을 제공한다.

제안 방법

• 드론의 상태로 위치, 속도, 인접 기지국(BS) 신호 세기를 포함하는 마르코프 결정 과정(MDP)으로 드론 핸드오버 문제를 수식화한다.
• 수신 신호 세기(RSRP)와 핸드오버 비용을 조합한 보상 함수를 기반으로 최적의 핸드오버 행동을 학습하는 딥 Q네트워크(DQN) 에이전트를 설계한다.
• DQN 알고리즘의 학습 안정성과 수렴 성능 향상을 위해 경험 재생과 타겟 네트워크를 사용한다.
• 실제 전파 모델과 드론 비행 경로를 반영한 다수의 기지국이 있는 시뮬레이션 도시 환경에서 DQN 에이전트를 훈련시킨다.
• 핸드오버 비용과 RSRP 간의 가중치 비율 조정을 통해 보상 함수를 최적화하여 신호 지연과 링크 품질 간의 트레이드오프 제어를 가능하게 한다.
• 항상 가장 강한 서비스 기지국을 선택하는 그레디 기반 대안과 비교하여 DQN 기반 정책을 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 핸드오버 정책이 신호 세기 기반 그레디 정책에 비해 핸드오버 횟수를 크게 감소시킬 수 있는가?
• RQ2 제안된 DQN 프레임워크는 핸드오버 빈도를 최소화하면서도 신뢰할 수 있는 연결성을 얼마나 잘 유지할 수 있는가?
• RQ3 다양한 비행 조건 하에서 핸드오버 비용과 신호 세기 간의 트레이드오프가 네트워크 성능에 어떤 영향을 미치는가?
• RQ4 핸드오버 감소와 신호 품질 측면에서 DQN과 표본 Q학습 간의 성능 격차는 어느 정도인가?
• RQ5 더 큰 지리적 지역과 고차원 상태 공간을 가진 환경에서 DQN 기반 접근법의 확장성은 어떠한가?

주요 결과

• 수신 신호 세기(RSRP) 대비 핸드오버 비용의 가중치 비율을 1:1로 설정했을 때, 제안된 DQN 기반 핸드오버 방식은 70%의 드론 비행에서 핸드오버 횟수를 최대 10배까지 감소시켰다.
• 90%의 비행에서는 최소 5배, 98%의 비행에서는 최소 2배의 핸드오버 감소를 기록했다.
• 최악의 경우 5번째 백분위수 RSRP 저하가 그레디 기반 대비 단지 4.5 dB에 그쳐 링크 품질에 미치는 영향이 최소한으로 제한되었다.
• 1:9 가중치 비율에서 DQN 기반 방법은 평균 핸드오버 비율 0.143을 기록했으며, 핸드오버 감소와 안정성 측면에서 표본 Q학습을 모두 능가했다.
• 모든 시나리오에서 최소 RSRP가 -82 dBm를 초과하여, 일반적인 1 MHz 대역폭 조건에서 신호 대 잡음비(SNR) 31 dB를 확보해 안정적인 연결성을 보장한다.
• DQN 접근법은 표본 Q학습보다 더 뛰어난 확장성을 보였으며, 대규모 또는 3차원 이동 환경에서 후자의 상태공간 기하급수적 증가를 방지한다.