[논문 리뷰] Deep Reinforcement Learning for Unmanned Aerial Vehicle-Assisted Vehicular Networks

Ming Zhu, Xiao-Yang Liu외 1명|arXiv (Cornell University)|2019. 06. 12.

UAV Applications and Optimization참고 문헌 40인용 수 21

한 줄 요약

이 논문은 UAV가 지원하는 차량 통신 네트워크에서 UAV의 3차원 비행 궤적, 전력 제어, 채널 할당을 공동 최적화하기 위해 딥 Q-러닝 기반의 강화학습 프레임워크를 제안한다. 이 방법은 채널 상태 정보를 정확히 알 수 없는 동적 환경에서 적응적으로 학습함으로써, 특히 혼잡한 도심 교차로에서 기존 방법 대비 뚜렷한 전송률 향상을 달성한다.

ABSTRACT

Unmanned aerial vehicles (UAVs) are envisioned to complement the 5G communication infrastructure in future smart cities. Hot spots easily appear in road intersections, where effective communication among vehicles is challenging. UAVs may serve as relays with the advantages of low price, easy deployment, line-of-sight links, and flexible mobility. In this paper, we study a UAV-assisted vehicular network where the UAV jointly adjusts its transmission control (power and channel) and 3D flight to maximize the total throughput. First, we formulate a Markov decision process (MDP) problem by modeling the mobility of the UAV/vehicles and the state transitions. Secondly, we solve the target problem using a deep reinforcement learning method, namely, the deep deterministic policy gradient (DDPG), and propose three solutions with different control objectives. Deep reinforcement learning methods obtain the optimal policy through the interactions with the environment without knowing the environment variables. Considering that environment variables in our problem are unknown and unmeasurable, we choose a deep reinforcement learning method to solve it. Moreover, considering the energy consumption of 3D flight, we extend the proposed solutions to maximize the total throughput per unit energy. To encourage or discourage the UAV's mobility according to its prediction, the DDPG framework is modified, where the UAV adjusts its learning rate automatically. Thirdly, in a simplified model with small state space and action space, we verify the optimality of proposed algorithms. Comparing with two baseline schemes, we demonstrate the effectiveness of proposed algorithms in a realistic model.

연구 동기 및 목표

• 고속 이동성과 동적 채널 조건을 가진 UAV 지원 차량 통신 네트워크에서 총 다운링크 전송률을 극대화하는 문제를 해결한다.
• 실제 5G 환경에서 자주 확보되지 않거나 측정이 어려운 정확한 채널 상태 정보를 필요로 하는 전통적 최적화 방법의 한계를 극복한다.
• UAV의 3차원 위치, 전송 전력, 주파수 채널 할당을 동시에 최적화하는 공동 제어 전략을 설계한다.
• 3차원 비행의 에너지 소비를 고려하여 DDPG 프레임워크를 수정함으로써 이동성과 스펙트럼 효율성 간의 균형을 맞춘다.
• 변동하는 차량 도착과 신호등 제어 이동 패tern을 포함한 현실적인 교통 시나리오에서 제안된 방법을 검증한다.

제안 방법

• UAV-차량 간 통신 문제를 마르코프 결정 과정(MDP)으로 수식화하여, 행동에 기반한 UAV 및 차량 상태 전이를 모델링한다.
• 환경의 동역학에 대한 사전 지식이 필요 없이 연속적인 제어 정책을 학습하기 위해 딥 디터미니스틱 정책 그래디언트(DDPG) 알고리즘을 구현한다.
• 예측된 성능 향상에 따라 UAV 이동성을 장려하거나 억제하는 적응형 학습률을 도입하여 DDPG 프레임워크를 수정한다.
• 전송률 대비 에너지 소비를 고려한 에너지 효율성을 반영하기 위해 보상 함수를 확장함으로써 데이터 전송률과 비행 에너지 비용을 동시에 최적화한다.
• 연속적인 행동 공간에서의 학습 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 사용하여 DDPG 에이전트를 훈련시킨다.
• 고성능 서버에서 DDPG 네트워크를 사전 훈련하고, 향후 경량이며 저에너지 소비 인fer런스 하드웨어를 활용한 엣지 배포를 계획한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 알려지지 않은 채널 파rameter를 가진 동적 차량 통신 네트워크에서 3차원 UAV 궤적, 전력 제어, 채널 할당을 공동 최적화하는 데 효과적인가?
• RQ2 3차원 비행 에너지 소비를 고려할 때 UAV 지원 통신에서 총 전송률과 에너지 효율성 간의 트레이드오���은 어떻게 영향을 받는가?
• RQ3 실제 도심 교통 환경에서 제안된 DDPG 기반 방법은 Cycle 및 Greedy와 같은 기준 방법 대비 얼마나 높은 성능 향상을 달성하는가?
• RQ4 차량 밀도와 이동성의 변화가 있는 환경에서 UAV의 적응형 학습률 메커니즘이 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 고정 고도 또는 비이동 전략 대비 UAV의 이동성은 스펙트럼 효율성 향상에 얼마나 기여하는가?

주요 결과

• DDPG 기반 알고리즘은 Cycle 및 Greedy 기준 대비 유의미하게 높은 총 전송률을 달성하였으며, 특히 동적 차량 도착이 발생하는 고밀도 시나리오에서 두드러진다.
• 차량 도착 확률 λ가 0.3에서 0.6으로 증가함에 따라 활성 차량 수가 증가하여 전송률이 증가하지만, λ = 0.6에서 교통 혼잡이 서비스 용량을 제한함으로써 포화 상태에 도달한다.
• τ⁺ = 0.0012일 때(높은 이동성 선호도) 총 전송률이 τ⁺ = 0.001 또는 0.0008일 때보다 훨씬 높게 나타나, 에너지 비용이 수용 가능한 경우 이동성 증가가 더 나은 스펙트럼 효율성을 가능하게 함을 시사한다.
• τ⁺ ≤ 0.001일 경우 이동성 증가로도 전송률 향상이 없으며, 이는 추가 이동이 유의미한 성능 향상 없이 성능 포화 상태에 도달했음을 의미한다.
• UAV 비행 시간은 3차원 비행에 할당된 에너지가 높을수록 선형적으로 증가하며, UAV가 가장 활동적일 때(높은 τ⁺) 비행 시간이 가장 짧고, 비활동적일 때(낮은 τ⁻) 가장 길다.
• 신경망이 잘 훈련되었음을 다수의 그림(Fig. 11, Fig. 14 등)에서 일관된 성능 형태를 통해 확인할 수 있으며, 이는 안정적이고 일반화 가능한 정책 학습을 의미한다.