[논문 리뷰] Efficient Drone Mobility Support Using Reinforcement Learning

Yun Chen, Xingqin Lin외 2명|arXiv (Cornell University)|2019. 11. 21.

UAV Applications and Optimization참고 문헌 11인용 수 9

한 줄 요약

이 논문은 드론 이동성을 최적화하기 위해 Q-학습 기반 강화학습 기반의 핸드오버(HO) 메커니즘을 제안한다. 이는 신호 세기와 핸드오버 신호 오버헤드를 균형 있게 조절한다. RSRP와 핸드오버 비용 가중치에 기반해 동적으로 핸드오버 결정을 조정함으로써, 최대 82.9%까지 핸드오버 횟수를 감소시키면서도 신뢰할 수 있는 연결성을 유지하며 신호 품질 손실을 최소화한다.

ABSTRACT

Flying drones can be used in a wide range of applications and services from surveillance to package delivery. To ensure robust control and safety of drone operations, cellular networks need to provide reliable wireless connectivity to drone user equipments (UEs). To date, existing mobile networks have been primarily designed and optimized for serving ground UEs, thus making the mobility support in the sky challenging. In this paper, a novel handover (HO) mechanism is developed for a cellular-connected drone system to ensure robust wireless connectivity and mobility support for drone-UEs. By leveraging tools from reinforcement learning, HO decisions are dynamically optimized using a Q-learning algorithm to provide an efficient mobility support in the sky. The results show that the proposed approach can significantly reduce (e.g., by 80%) the number of HOs, while maintaining connectivity, compared to the baseline HO scheme in which the drone always connects to the strongest cell.

연구 동기 및 목표

• 기울어진 지상 기지국에 의한 비균일한 커버리지와 3차원 이동성으로 인한 빈번하고 비효율적인 핸드오버 문제를 해결하기 위해.
• 핑퐁 핸드오버로 인한 신호 오버헤드와 라디오 링크 실패를 줄이기 위한 동적이고 적응 가능한 핸드오버 결정 메커니즘을 개발하기 위해.
• 핸드오버 빈도를 최소화하면서도 강력한 수신 신호 세기(RSRP)를 유지하여 드론 연결성의 신뢰성을 확보하기 위한 트레이드오프를 균형 있게 조절하기 위해.
• 다양한 운영 우선순위에 맞게 보상 함수 가중치를 조정할 수 있는 유연하고 학습 가능한 프레임워크를 제공하기 위해.

제안 방법

• 드론-UE가 상태 전이에 기반해 최적의 핸드오버 행동을 학습할 수 있도록, 핸드오버 결정 과정을 마르코프 결정 과정(Markov decision process)으로 모델링하기 위해 Q-학습 프레임워크를 사용한다.
• 상태 공간은 드론의 2차원 위치와 현재 서비스 기지국으로 정의되며, RSRP 값은 50×50 m² 크기의 버킷으로 이산화하여 환경을 이산화한다.
• 행동 공간은 핸드오버 수행 여부와 새로운 서비스 기지국 선택을 포함하며, 학습된 Q-값에 기반해 행동이 선택된다.
• 사용자 정의 보상 함수는 RSRP 향상(신호 품질)과 각 핸드오버에 대한 페널티를 가중합한 두 가지 구성요소로 이루어진다.
• 알고리즘은 랜덤한 비행 경로를 가진 2000회의 시뮬레이션 런을 통해 훈련되며, 탐색을 위해 α=0.5, λ=0.3, ε=0.2의 파라미터를 사용한다.
• 실제 세계의 RSRP 데이터를 2차원 격자에서 수집하여 정규화하고 이산화하여 훈련 및 평가를 위한 대표적인 커버리지 지ap을 생성한다.

실험 결과

연구 질문

• RQ1 3차원 공중에서 동적 이동성을 가지는 셀룰러 연결 드론에 대해 강화학습을 효과적으로 적용하여 핸드오버 결정을 최적화할 수 있는가?
• RQ2 드론-UE의 경우 핸드오버 빈도를 최소화하는 것과 높은 수신 신호 세기(RSRP)를 유지하는 것 사이의 트레이드오프는 어떠한가?
• RQ3 항상 가장 강한 셀에 연결하는 것과 비교해, Q-학습 기반 접근법이 핑퐁 핸드오버와 신호 오버헤드를 줄일 수 있는가?
• RQ4 보상 함수 내에서 핸드오버 비용과 RSRP의 가중치 조합이 연결 품질과 핸드오버 빈도 사이의 성능 트레이드오프에 미치는 영향은 어떠한가?
• RQ5 제안된 RL 기반 기법은 핸드오버 빈도를 감소시켜도 충분한 신호 품질을 유지하는가?

주요 결과

• 제안된 Q-학습 기반 핸드오버 메커니즘은 핸드오버 비용 가중치를 1로 설정했을 때, 항상 가장 강한 셀에 연결하는 기준선 대비 평균 핸드오버 횟수를 82.9% 감소시킨다.
• 핸드오버 비용 가중치를 1로 설정했을 때, 5번째 백분위수의 최악의 경우 RSRP는 기준선 대비 약 4.5 dB 저하되며, 이는 상당한 핸드오버 감소를 위한 수용 가능한 트레이드오프임을 시사한다.
• 핸드오버 비용 가중치 비율을 1/9로 설정했을 때, 최소 50%의 확률로 핸드오버 빈도를 50% 이상 감소시키며, RSRP 손실은 미미하게 유지된다.
• RSRP의 누적분포함수(CDF)는 모든 설정에서 -85 dBm 이상 유지되어, 핸드오버 횟수 감소 조건에서도 신뢰할 수 있는 연결성을 보장한다.
• 핸드오버 횟수와 핸드오버 비율의 CDF 분석 결과, RL 기반 기법은 기준선 대비 일관되게 뛰어난 성능을 보이며, 특히 높은 핸드오버 비용 가중치 조건에서 두드러진다.
• 결과적으로, RL 기반 접근법은 신호 오버헤드와 신호 품질 사이의 탄력적이고 조정 가능한 트레이드오프를 달성하며, 실세계 구현에 적합함을 입증한다.