[논문 리뷰] UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations

Shiye Zhao, Kaoru Ota외 1명|arXiv (Cornell University)|2022. 02. 17.

UAV Applications and Optimization인용 수 7

한 줄 요약

이 논문은 재해 후 상황에서 생존한 지상 기지국(TBS)과 협력하는 강화학습 기반의 드론 기반 기지국(UAV-BS) 경로 최적화 방법을 제안한다. 이는 사용자 단말기(UE)의 커버리지 최대화를 목적으로 한다. BIRCH 군집화를 사용해 서비스되지 않은 UE를 사전에 다룰 수 있는 영역으로 나누어, UAV는 Q-학습을 통해 동적으로 배치되고 훈련되어 효율적으로 완전한 커버리지 달성을 이룬다. 이는 훈련 시간을 단축시키고 시스템 보상의 안정성을 향상시킨다.

ABSTRACT

Because of disaster, terrestrial base stations (TBS) would be partly crashed. Some user equipments (UE) would be unserved. Deploying unmanned aerial vehicles (UAV) as aerial base stations is a method to cover UEs quickly. But existing methods solely refer to the coverage of UAVs. In those scenarios, they focus on the deployment of UAVs in the post-disaster area where all TBSs do not work any longer. There is limited research about the combination of available TBSs and UAVs. We propose the method to deploy UAVs cooperating with available TBSs as aerial base stations. And improve the coverage by reinforcement learning. Besides, in the experiments, we cluster UEs with balanced iterative reducing and clustering using hierarchies (BIRCH) at first. Finally, achieve base stations' better coverage to UEs through Q-learning.

연구 동기 및 목표

• 재해 후 지상 기지국(TBS)이 일부 손상된 상황에서 신속하고 신뢰할 수 있는 비상 통신을 제공하는 데 도전 과제 해결.
• 단순히 UAV에만 의존하는 것이 아니라 생존한 TBS와 통합하여 커버리지 효율성 향상.
• UAV의 운영 범위를 제한하기 위해 UE 분포를 BIRCH 군집화로 사전 처리하여 Q-학습의 계산 부담 감소.
• 군집 크기와 커버리지 요구사항에 따라 적응적으로 UAV 수를 조절함으로써 동적 UAV 배치 가능.
• 배터리 및 시간 제약 조건 내에서 서비스받는 UE 수를 최대화하기 위해 UAV 경로 최적화.

제안 방법

• UAV의 최대 통신 범위(1500m)를 클러스터링 임계값으로 설정하여 BIRCH 군집화 알고리즘을 사용해 서비스되지 않은 UE를 사전 처리하여 재해 지역을 더 작은 관리 가능한 군집으로 나누기.
• 각 군집에 하나의 UAV를 할당하며, 군집 수와 공간 분포에 따라 사전에 정의된 군집 수가 필요 없이 UAV 수를 동적으로 조절하기.
• UAV의 배치 및 이동을 3차원 격자 세계 환경으로 모델링하여 각 UAV를 Q-학습 프레임워크 내의 에이전트로 간주하고 최적의 경로 학습.
• Q-학습 보상 함수를 정의하여 시간 제한 내에 서비스되지 않은 UE를 완전히 커버리지하도록 유도하며, 더 빠르고 완전한 서비스에 대해 보상이 더 높도록 설정.
• ε-감소 전략을 적용한 이중 Q-학습 변형을 사용하며, ε = 0.9에서 시작하여 0.01로 감소시키고 학습률을 0.5로 설정하여 탐색과 이용의 균형 확보.
• TBS 상태가 {0,1,1,0}으로 부분 고장 상태임을 고려해, 400개의 UE를 TBS 주변에 포아송 점 프로세스로 분포시켜 시스템 시뮬레이션을 수행하며, UAV는 오직 서비스되지 않은 UE만 제공.

실험 결과

연구 질문

• RQ1 생존한 TBS가 일부 작동 중인 재해 후 환경에서 서비스되지 않은 UE의 커버리지를 최대화하기 위해 UAV를 어떻게 최적의 위치에 배치할 수 있는가?
• RQ2 BIRCH 군집화는 Q-학습의 상태 공간을 얼마나 줄여주며, UAV 경로 최적화에서 수렴 속도 향상에 기여하는가?
• RQ3 군집화 결과에 기반한 동적 UAV 배치는 다양한 재해 지역 크기와 UE 분포에 대응하는 시스템의 확장성과 적응성 향상에 기여하는가?
• RQ4 UAV와 생존한 TBS를 통합함으로써 UAV 단독 배치 대비 전체 시스템 성능 및 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 군집화와 보상 형상화는 UAV 경로 계획에서 Q-학습의 수렴 속도와 최종 커버리지 성능에 어떤 영향을 미치는가?

주요 결과

• 시스템은 300단계(배터리 제한) 이내에 모든 서비스되지 않은 UE를 완전히 커버리지하여 UAV가 배터리 고갈 전에 모든 피해자에게 신뢰성 있게 서비스를 제공할 수 있음을 입증했다.
• BIRCH 군집화를 사용함으로써 UAV당 작업 부담이 감소하여 Q-학습의 수렴 속도가 빨라졌고, 전체 커버리지 달성에 필요한 평균 단계 수가 크게 감소했다.
• BIRCH 사전 처리를 적용한 시스템은 군집화 없이 비교한 베이스라인 대비 더 높고 안정적인 총 시스템 보상(그림 10)을 달성하여 학습 효율성과 성능 향상을 입증했다.
• 고밀도 UE 또는 유리한 초기 위치(예: UAV₂, UAV₃, UAV₅, UAV₇)에 할당된 UAV들은 도식 9의 보상 곡선에서 훈련 초반에 완전한 커버리지 달성을 이뤘다.
• 군집화 이후 평균 에피소드 단계 수가 급격히 감소하여 BIRCH가 Q-학습 문제의 복잡도를 효과적으로 감소시켰음을 시사한다.
• 이 방법은 동적 UAV 배치를 가능하게 하였으며, 8개의 UAV가 8개의 군집에 할당되어 사전에 군집 수를 알지 못하더라도 다양한 공간적 요구에 적응 가능함을 보여주었다.