[논문 리뷰] Deep Reinforcement Learning for Fresh Data Collection in UAV-assisted IoT Networks

Mengjie Yi, Xijun Wang외 3명|arXiv (Cornell University)|2020. 03. 01.

Age of Information Optimization참고 문헌 14인용 수 14

한 줄 요약

이 논문은 시간 및 에너지 제약 조건 하에서 UAV를 활용한 IoT 네트워크에서 정보 갱신도(AoI)의 가중합을 최소화하기 위해 딥 강화학습(DRL) 기반 알고리즘을 제안한다. 유한한 시간 간격의 마코프 결정 과정(MDP)으로 문제를 수식화함으로써, DRL 에이전트는 최적의 UAV 비행 경로와 센서 전송 스케줄링을 학습하여 기준선 방법들인 AoI 기반 및 거리 기반 정책에 비해 정보 갱신도를 크게 감소시킨다.

ABSTRACT

Due to the flexibility and low operational cost, dispatching unmanned aerial vehicles (UAVs) to collect information from distributed sensors is expected to be a promising solution in Internet of Things (IoT), especially for time-critical applications. How to maintain the information freshness is a challenging issue. In this paper, we investigate the fresh data collection problem in UAV-assisted IoT networks. Particularly, the UAV flies towards the sensors to collect status update packets within a given duration while maintaining a non-negative residual energy. We formulate a Markov Decision Process (MDP) to find the optimal flight trajectory of the UAV and transmission scheduling of the sensors that minimizes the weighted sum of the age of information (AoI). A UAV-assisted data collection algorithm based on deep reinforcement learning (DRL) is further proposed to overcome the curse of dimensionality. Extensive simulation results demonstrate that the proposed DRL-based algorithm can significantly reduce the weighted sum of the AoI compared to other baseline algorithms.

연구 동기 및 목표

• 에너지 및 시간 제약 조건 하에서 UAV를 활용한 IoT 네트워크에서 데이터의 최신성 유지를 위한 정보 갱신도(AoI)의 가중합을 최소화하는 데 도전한다.
• 시간 및 에너지 제약 조건 하에서 UAV 비행 경로와 센서 전송 스케줄링을 유한 시간 간격의 마코프 결정 과정(MDP)으로 수식화한다.
• 고차원 상태 공간으로 인한 MDP 해결의 '차원의 극복 문제

제안 방법

• UAV-IoT 네트워크를 상태로 UAV 위치, 센서의 AoI, 잔여 에너지 및 시간을 포함하는 유한 시간 간격의 MDP로 모델링한다.
• 각 시간 슬롯에서의 행동 공간을 비행 방향 선택 및 연결할 센서 선택으로 정의한다.
• Q-값 함수를 근사하기 위해 두 개의 완전 연결 히든 레이어(200 및 256개 뉴런)를 갖는 딥 Q-네트워크(DQN)를 구현한다.
• 경험 재생 및 타겟 네트워크 기법을 사용하여 DQN 학습을 안정화하고 수렴성을 향상시킨다.
• 높은 AoI 및 에너지 소비를 방지하기 위한 보상 함수를 사용하여, 적시이고 효율적인 데이터 수집을 장려한다.
• 실세계 UAV 에너지 모델(예: 속도, 고도 및 로터 동역학 기반의 전력 소비)을 환경 동역학에 통합한다.

실험 결과

연구 질문

• RQ1 에너지 제약 조건이 있는 UAV-IoT 네트워크에서 정보 갱신도(AoI)의 가중합을 최소화하기 위해 UAV 비행 경로와 센서 전송 스케줄링을 어떻게 공동 최적화할 수 있는가?
• RQ2 제안된 DRL 기반 접근법은 AoI 기반 및 거리 기반 정책과 같은 히우리스틱 기준선에 비해 정보 갱신도(AoI) 감소에 있어 얼마나 뛰어난가?
• RQ3 UAV의 커버리지 반경이 평균 AoI에 미치는 영향은 무엇이며, 공간 커버리지와 데이터 최신성 사이의 상충 관계는 어떠한가?
• RQ4 센서 수가 증가할수록 DRL 기반 데이터 수집 알고리즘의 성능은 정보 갱신도(AoI) 및 에너지 효율성 측면에서 어떻게 변화하는가?
• RQ5 딥 강화학습은 UAV를 활용한 IoT 데이터 수집에서 고차원 상태 공간과 동적 제약 조건을 효과적으로 다룰 수 있는가?

주요 결과

• 제안된 DRL 기반 알고리즘이 AoI 기반 및 거리 기반 기준선 알고리즘에 비해 정보 갱신도(AoI)의 가중합을 상당히 감소시킨다.
• 고정된 센서 수(N=3) 조건에서 UAV 커버리지 반경 R을 증가시킬수록 평균 AoI가 감소하며, DRL 방법은 항상 기준선보다 뛰어난 성능을 보인다.
• 센서 수가 증가함에 따라(N=3에서 N=10으로), 모든 알고리즘에서 평균 AoI가 증가하지만, DRL 기반 방법은 기준선에 비해 AoI 증가율이 더 뚜렷하게 감소하는 경향을 보인다.
• 커버리지 반경 R이 클 경우, AoI 기반 알고리즘이 DRL 방법과 거의 동일한 성능을 보이며, 이는 겹치는 커버리지 덕분에 한 번의 비행에서 다수의 센서로부터 효율적으로 데이터를 수집할 수 있기 때문이다.
• DRL 에이전트는 AoI, 에너지, 시간 제약 조건을 균형 있게 학습하여, R 증가에 따라 가중합 AoI가 단조 감소하고 N 증가에 따라 단조 증가하는 경향을 보이며, 이는 예상과 일치한다.