[논문 리뷰] Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning

Erika Fonseca, Boris Galkin외 3명|arXiv (Cornell University)|2020. 07. 27.

UAV Applications and Optimization참고 문헌 20인용 수 4

한 줄 요약

이 논문은 스펙트럼 효율성과 전송률을 극대화하기 위해 셀룰러 연결 드론 무인 항공기(UAV)의 비행 고도를 동적으로 최적화하기 위한 딥 강화학습(DRL) 기반 접근법을 제안한다. 딥 Q 네트워크(DQN)를 사용하여 UAV는 채널 상태에 따라 실시간으로 고도를 조정하는 법을 학습하며, 실제 도시 환경에서 서비스 품질(QoS)에 최대 41% 향상을 이룬다. 성능 향상은 기지국 밀도와 건물 높이 분포에 따라 달라진다.

ABSTRACT

Providing reliable connectivity to cellular-connected UAV can be very challenging; their performance highly depends on the nature of the surrounding environment, such as density and heights of the ground BSs. On the other hand, tall buildings might block undesired interference signals from ground BSs, thereby improving the connectivity between the UAVs and their serving BSs. To address the connectivity of UAVs in such environments, this paper proposes a RL algorithm to dynamically optimise the height of a UAV as it moves through the environment, with the goal of increasing the throughput or spectrum efficiency that it experiences. The proposed solution is evaluated in two settings: using a series of generated environments where we vary the number of BS and building densities, and in a scenario using real-world data obtained from an experiment in Dublin, Ireland. Results show that our proposed RL-based solution improves UAVs QoS by 6% to 41%, depending on the scenario. We also conclude that, when flying at heights higher than the buildings, building density variation has no impact on UAV QoS. On the other hand, BS density can negatively impact UAV QoS, with higher numbers of BSs generating more interference and deteriorating UAV performance.

연구 동기 및 목표

• 고주파 간섭과 차단이 빈번한 도시 환경에서 UAV의 신뢰할 수 있는 셀룰러 연결성을 유지를 위한 과제를 해결하기 위해.
• 기반 시설 재설계에 의존하지 않고 스펙트럼 효율성과 전송률을 향상시키기 위한 동적이고 적응형 고도 제어 메커니즘을 개발하기 위해.
• 제안된 강화학습 기반 솔루션을 합성 환경과 아일랜드 더블린에서의 실측 데이터 모두에서 평가하기 위해.
• 기지국 밀도와 건물 높이가 UAV 연결성과 최적 비행 고도에 미치는 영향을 조사하기 위해.
• 실세계 실험 데이터를 활용한 UAV 고도 최적화 정책 학습 및 검증의 가능성을 입증하기 위해.

제안 방법

• UAV의 고도 최적화는 장기적인 스펙트럼 효율성을 극대화하도록 훈련된 딥 Q 네트워크(DQN) 에이전트를 사용하여 수행된다.
• 상태 공간에는 이전의 SINR 값, 현재 및 이전의 고도, 행동, 보상 신호가 포함된다.
• 행동 공간은 이산적인 고도 조정(예: 고도 증가, 감소, 유지)으로 구성된다.
• 보상 함수는 스펙트럼 효율성과 전송률 향상을 반영하도록 설계되었으며, 불안정성이나 간섭에 대한 페널티가 포함된다.
• 학습 안정성을 확보하기 위해 경험 재생 및 타겟 네트워크를 사용하여 DQN 모델을 훈련시킨다.
• 데이터 제약으로 인해 이론적 환경에서의 모델링을 실세계 데이터로 적응시키기 위해 스펙트럼 효율성을 측정된 전송률로 대체하고, 이웃 감지 기능을 생략한다.

실험 결과

연구 질문

• RQ1 기지국 밀도는 도시 환경에서 UAV의 최적 비행 고도에 어떤 영향을 미치는가?
• RQ2 건물 밀도는 UAV 연결성과 고도 조절의 효과성에 어떤 영향을 미치는가?
• RQ3 DRL 기반 접근법은 실세계 도시 환경에서 UAV 고도를 동적으로 최적화하여 스펙트럼 효율성과 전송률을 향상시킬 수 있는가?
• RQ4 건물 위의 라인오브사이트(LoS)에서 비행할 경우 간섭과 QoS에 어떤 영향을 미치는가?
• RQ5 RL 에이전트의 성능은 무작위 보행 또는 고정 고도 비행과 같은 기준 전략 대비 어떻게 비교되는가?

주요 결과

• 제안된 DRL 기반 접근법은 환경 조건에 따라 다양한 시나리오에서 UAV의 서비스 품질(QoS)을 6%에서 41%까지 향상시켰다.
• 높은 고도 비행(건물 屋상 위)에서는 건물 밀도가 UAV QoS에 유의미한 영향을 미치지 않으며, 이는 LoS 링크가 지배적이기 때문이다.
• 기지국 밀도가 높을수록 간섭이 증가하여 UAV 성능 저하와 스펙트럼 효율성 감소에 악영향을 미친다.
• RL 에이전트는 기지국 밀도가 높아질수록 고도를 높이는 법을 학습하여 기준 방법보다 더 높은 스펙트럼 효율성을 달성한다.
• 불필요한 고도 조정을 피하고 매 스텝마다 움직이지 않는 대신 지능적이고 에너지 효율적인 결정을 내리는 경향이 있다.
• 더블린에서 확보한 실세계 데이터로 훈련된 모델은 잘 일반화되어 있으며, 실측 측정치를 활용한 RL 기반 UAV 최적화의 가능성을 입증한다.