[논문 리뷰] Trajectory Design for UAV-Based Internet-of-Things Data Collection: A Deep Reinforcement Learning Approach

Yang Wang, Zhen Gao외 6명|arXiv (Cornell University)|2021. 07. 23.

UAV Applications and Optimization참고 문헌 34인용 수 8

한 줄 요약

이 논문은 불완전한 채널 상태 정보(CSI)를 가진 3차원 도시 환경에서 드론(UAV)을 활용한 IoT 데이터 수집을 위한 딥 강화학습 기반 궤도 설계 알고리즘, TD3-TDCTM을 제안한다. 투자연기된 딥 디터미니스틱 정책 기반 알고리즘(TD3)을 활용하고, 융합된 피에로몬 상태 표현을 도입함으로써 비행 및 대역폭 제약 조건을 만족하면서도 데이터 수집 완료 시간을 최소화한다. 기존 최적화 기반 방법에 비해 뚜렷한 성능 향상을 달성한다.

ABSTRACT

In this paper, we investigate an unmanned aerial vehicle (UAV)-assisted Internet-of-Things (IoT) system in a sophisticated three-dimensional (3D) environment, where the UAV's trajectory is optimized to efficiently collect data from multiple IoT ground nodes. Unlike existing approaches focusing only on a simplified two-dimensional scenario and the availability of perfect channel state information (CSI), this paper considers a practical 3D urban environment with imperfect CSI, where the UAV's trajectory is designed to minimize data collection completion time subject to practical throughput and flight movement constraints. Specifically, inspired from the state-of-the-art deep reinforcement learning approaches, we leverage the twin-delayed deep deterministic policy gradient (TD3) to design the UAV's trajectory and present a TD3-based trajectory design for completion time minimization (TD3-TDCTM) algorithm. In particular, we set an additional information, i.e., the merged pheromone, to represent the state information of UAV and environment as a reference of reward which facilitates the algorithm design. By taking the service statuses of IoT nodes, the UAV's position, and the merged pheromone as input, the proposed algorithm can continuously and adaptively learn how to adjust the UAV's movement strategy. By interacting with the external environment in the corresponding Markov decision process, the proposed algorithm can achieve a near-optimal navigation strategy. Our simulation results show the superiority of the proposed TD3-TDCTM algorithm over three conventional non-learning based baseline methods.

연구 동기 및 목표

• 복잡한 3차원 도시 환경에서 불완전한 채널 상태 정보(CSI)를 가진 UAV 기반 IoT 시스템에서 효율적인 데이터 수집 문제를 해결한다.
• 비행 이동 및 대역폭 제약 조건을 준수하면서 UAV 기반 데이터 수집의 임무 완료 시간을 최소화한다.
• 동적 IoT 노드 서비스 상태와 환경 조건에 적응할 수 있는 학습 기반 궤도 최적화 프레임워크를 설계한다.
• 비정적 환경에서 지속적이고 적응적인 UAV 항법 전략 학습을 가능하게 하여 전통적인 최적화 방법의 한계를 극복한다.

제안 방법

• UAV 위치, IoT 노드 서비스 상태 및 융합된 피에로몬 신호를 조합한 새로운 상태 표현 방식을 제안하여 환경 및 이력 정보를 인코딩한다.
• 마르코프 결정 과정과의 상호작용을 통해 최적의 UAV 궤도 정책을 학습하기 위해 TD3 기반 강화학습 알고리즘(TD3-TDCTM)을 구현한다.
• 연속적인 행동 공간에서 학습 안정성을 향상시키기 위해 타겟 네트워크를 갖춘 쌍둥이 크리틱 아키텍처를 사용한다.
• 샘플 효율성을 향상시키고 학습 전이 간 상관관계를 감소시키기 위해 크기가 설정 가능한 경험 리플레이 버퍼를 통합한다.
• 완료 시간을 최소화하면서도 라인오브사이트(LoS) 링크 가용성을 유지하도록 유도하는 조밀하고 희소적이며 형태가 조정된 보상 함수를 정의한다.
• 불완전한 CSI 조건 하에서 실제 경로 손실 및 그림자 효과 모델을 적용한 3차원 도시 환경 시뮬레이션에서 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 불완전한 CSI를 가진 3차원 도시 환경에서 IoT 데이터 수집을 위한 효율적인 UAV 궤도를 어떻게 학습할 수 있는가?
• RQ2 다양한 IoT 노드 서비스 조건 하에서 UAV가 적응적으로 항법 전략을 학습할 수 있도록 하는 데 가장 효과적인 상태 표현은 무엇인가?
• RQ3 제안된 TD3-TDCTM 알고리즘이 기존 최적화 기반 방법에 비해 임무 완료 시간과 내성적 안정성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 할인 인자, 네트워크 너비, 리플레이 버퍼 크기와 같은 하이퍼파라미터가 학습 알고리즘의 성능 및 수렴에 어떤 영향을 미치는가?
• RQ5 학습된 궤도가 고도의 라인오브사이트(LoS) 링크 확률을 유지할 수 있는가? 이를 통해 데이터 수집 효율성을 극대화할 수 있는가?

주요 결과

• 최적의 하이퍼파라미터 조건(400개의 뉴런, 버퍼 크기 $1 imes 10^5$) 하에서 제안된 TD3-TDCTM 알고리즘은 평균 임무 완료 시간이 70.52초로, 기준선 방법보다 뛰어난 성능을 보였다.
• 할인 인자가 0.99일 경우, 약 2000개의 훈련 에피소드 후에 안정적으로 수렴하여 다양한 IoT 노드 수에서 일관된 성능을 보였다.
• 궤도 전반에 걸쳐 라인오브사이트(LoS) 커버리지 비율이 85% 이상 유지되어 유리한 LoS 링크를 효과적으로 활용하여 데이터 수집 속도를 향상시켰다.
• 최적의 설정(400개의 뉴런, $R = 1 imes 10^5$)은 200개의 뉴런 대비 1.3% 감소, 600개의 뉴런 대비 1.4% 감소를 기록하여 네트워크 용량과 메모리 크기에 민감한 것을 확인했다.
• 10~50개의 IoT 노드 수에 걸쳐 안정적인 수렴과 성능 유지를 보이며, 다양한 노드 수에 대한 알고리즘의 내성적 안정성을 입증했다.
• 할인 인자가 0.8인 경우 작업을 완료하지 못했지만, 0.99로 증가시켰을 때 안정적인 학습과 근사 최적 성능이 달성되어 장기적 보상 고려의 중요성을 확인했다.