[논문 리뷰] Cooperative Internet of UAVs: Distributed Trajectory Design by Multi-agent Deep Reinforcement Learning

Jingzhi Hu, Hongliang Zhang외 3명|arXiv (Cornell University)|2020. 07. 28.

UAV Applications and Optimization참고 문헌 37인용 수 4

한 줄 요약

이 논문은 다중 에이전트 딥 강화 학습을 활용한 셀룰러 드론 인터넷에서 협업하는 무인 항공기(UAV)를 위한 분산 경로 설계 프레임워크를 제안한다. 복합 행동 액터-크리틱(CA2C) 알고리즘을 도입하여 이산 작업 선택과 연속적인 위치 선택을 동시에 최적화함으로써, 나이의 정보(AoI)를 크게 감소시켰으며, 네 가지 기준 대비 우수한 성능을 보이며 비협업 대비 협업 UAV가 더 효과적으로 AoI를 감소시켰다.

ABSTRACT

Due to the advantages of flexible deployment and extensive coverage, unmanned aerial vehicles (UAVs) have great potential for sensing applications in the next generation of cellular networks, which will give rise to a cellular Internet of UAVs. In this paper, we consider a cellular Internet of UAVs, where the UAVs execute sensing tasks through cooperative sensing and transmission to minimize the age of information (AoI). However, the cooperative sensing and transmission is tightly coupled with the UAVs' trajectories, which makes the trajectory design challenging. To tackle this challenge, we propose a distributed sense-and-send protocol, where the UAVs determine the trajectories by selecting from a discrete set of tasks and a continuous set of locations for sensing and transmission. Based on this protocol, we formulate the trajectory design problem for AoI minimization and propose a compound-action actor-critic (CA2C) algorithm to solve it based on deep reinforcement learning. The CA2C algorithm can learn the optimal policies for actions involving both continuous and discrete variables and is suited for the trajectory design. {Our simulation results show that the CA2C algorithm outperforms four baseline algorithms}. Also, we show that by dividing the tasks, cooperative UAVs can achieve a lower AoI compared to non-cooperative UAVs.

연구 동기 및 목표

• 여러 UAV가 협업 센싱과 전송을 수행하는 셀룰러 드론 인터넷에서 나이의 정보(AoI)를 최소화하는 문제에 대응하기 위해.
• 중앙 집중식 조율 없이도 UAV들이 센싱 위치와 전송 스케줄을 공동으로 최적화할 수 있도록 분산 경로 계획 프로토콜을 설계하기 위해.
• 혼합 이산-연속 행동 공간을 효과적으로 다룰 수 있는 강화 학습 기반 솔루션을 개발하여 효율적인 경로 정책 학습을 가능하게 하기 위해.
• AoI 최소화 및 시스템 효율성 측면에서 비협업 기반 대비 협업 UAV의 성능 향상을 평가하기 위해.
• 3차원 UAV 경로 설계 환경에서 비행 고도와 서브밴드 할당이 AoI 성능에 미치는 영향을 조사하기 위해.

제안 방법

• UAV들이 이산적인 작업 집합과 연속적인 공간적 위치에서 센싱 및 전송를 선택할 수 있는 분산 센싱-전송 프로토콜을 제안한다.
• 모든 작업에 대한 정규화된 누적 AoI를 최소화하는 것을 목표로 하여, 경로 설계 문제를 마르코프 결정 과정(MDP)으로 모델링한다.
• 이산-연속 행동 공간을 동시에 처리하기 위해 딥 Q 네트워크(DQN)와 딥 디터미니스틱 정책 기반 강화 학습(DDPG)을 융합한 복합 행동 액터-크리틱(CA2C) 알고리즘을 도입한다.
• 중앙 집중식 크리틱과 분산된 액터를 활용하여 다중 에이전트 간 협업을 가능하게 하면서도 확장성과 분산 학습을 유지한다.
• 학습 안정성을 높이기 위해 경험 재생과 타겟 네트워크를 사용하며, 행동 출력에는 작업 인덱스와 3차원 위치 좌표가 포함된다.
• UAV가 정의된 범위 [100, 200] m 내에서 센싱 고도를 선택할 수 있도록 허용함으로써, 3차원 경로 설계로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 셀룰러 드론 인터넷에서 누적 나이의 정보(AoI)를 최소화하기 위해 협업 UAV를 어떻게 조율할 수 있는가?
• RQ2 AoI 감소 측면에서 비협업 UAV 배치 대비 협업 센싱 및 전송의 성능 향상은 어떠한가?
• RQ3 가용 서브밴드 수에 따라 AoI 최소화를 위한 최적의 비행 고도는 어떻게 변화하는가?
• RQ4 딥 강화 학습 알고리즘이 다중 에이전트 UAV 경로 설계에서 혼합 이산-연속 행동 공간을 효과적으로 다룰 수 있는가?
• RQ5 기존의 경로 계획 방법(예: 최단 경로 및 근시적 알고리즘)과 비교할 때, 제안된 CA2C 알고리즘은 AoI 성능에서 어떤가?

주요 결과

• 제안된 CA2C 알고리즘은 근시적, 최단 경로, 비협업 다중 에이전트 DRL, 중심화된 DRL의 네 가지 기준 알고리즘보다 정규화된 누적 AoI 최소화에서 뛰어난 성능을 보였다.
• 협업 UAV는 비협업 UAV보다 더 낮은 정규화된 누적 AoI를 달성했으며, UAV 수가 증가할수록 AoI 감소율이 증가했다.
• 80개의 서브밴드가 가용할 경우 AoI를 최소화하기 위한 최적의 비행 고도는 150m였으며, 이 최적 고도는 서브밴드 수가 증가함에 따라 증가했다.
• K=80개의 서브밴드를 사용할 경우, CA2C 알고리즘을 사용한 UAV들이 평균적으로 선택한 센싱 고도는 161m였으며, 시뮬레이션에서 도출된 최적의 150m와 유사했다.
• 서브밴드 수가 증가할수록 전송 지속 시간이 단축되어 정규화된 누적 AoI가 감소했다.
• 기존 알고리즘인 최단 경로 및 근시적 알고리즘은 UAV 경로가 겹치며 환경 상태 정보를 비효율적으로 활용해 AoI가 높아졌다.