[논문 리뷰] Age of Information-Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective

Xianfu Chen, Celimuge Wu외 5명|arXiv (Cornell University)|2019. 08. 06.

Age of Information Optimization참고 문헌 49인용 수 9

한 줄 요약

이 논문은 고속 이동성 차량 네트워크에서 시간 변동성 있는 트래픽 및 채널 조건을 고려한 연령 정보(AoI) 기반 무선 자원 관리(RRM)를 위한 프로액티브 딥 강화학습(DRL) 프레임워크를 제안한다. 장기 기억 네트워크(LSTM)를 통합한 딥 Q-네트워크(DQN)를 사용하여 국소적 VUE-페어 관측 기반의 부분 관측 가능성과 고차원 상태 공간을 처리한다. 이 방법은 국소적 관측에 기반한 분산형 실시간 주파수 대역 할당 및 스케줄링을 가능하게 하여 평균 유틸리티를 기존 최고 수준의 기준보다 최대 30% 향상시킨다.

ABSTRACT

In this paper, we investigate the problem of age of information (AoI)-aware radio resource management for expected long-term performance optimization in a Manhattan grid vehicle-to-vehicle network. With the observation of global network state at each scheduling slot, the roadside unit (RSU) allocates the frequency bands and schedules packet transmissions for all vehicle user equipment-pairs (VUE-pairs). We model the stochastic decision-making procedure as a discrete-time single-agent Markov decision process (MDP). The technical challenges in solving the optimal control policy originate from high spatial mobility and temporally varying traffic information arrivals of the VUE-pairs. To make the problem solving tractable, we first decompose the original MDP into a series of per-VUE-pair MDPs. Then we propose a proactive algorithm based on long short-term memory and deep reinforcement learning techniques to address the partial observability and the curse of high dimensionality in local network state space faced by each VUE-pair. With the proposed algorithm, the RSU makes the optimal frequency band allocation and packet scheduling decision at each scheduling slot in a decentralized way in accordance with the partial observations of the global network state at the VUE-pairs. Numerical experiments validate the theoretical analysis and demonstrate the significant performance improvements from the proposed algorithm.

연구 동기 및 목표

• 시간 변동성 있는 트래픽 및 채널 조건을 가진 고속 이동성 차량 네트워크에서 장기 성능을 최적화하는 도전 과제를 해결한다.
• 차량 간 통신(V2V)을 위한 분산형 무선 자원 관리(RRM)에서 고차원 상태 공간과 부분 관측 가능성 문제를 해결한다.
• 연령 정보(AoI)를 핵심 지표로 사용하여 시간 민감한 트래픽 정보의 최신성 유지를 위한 분산형, 프로액티브 RRM 알고리즘을 설계한다.
• 도로변 단말(RSU)이 전역 네트워크 상태의 국소적 부분 관측 자료만을 사용하여 최적의 주파수 대역 및 스케줄링 결정을 내릴 수 있도록 한다.
• 기존 기준 대비 유틸리티, AoI 및 에너지 효율성에서 뛰어난 성능을 달성하며, 네트워크 동역학에 대한 사전 통계 지식이 필요하지 않다.

제안 방법

• 전역 상태 관측을 가진 단일 에이전트 마르코프 결정 과정(MDP)으로 RRM 문제를 모델링한다.
• 전역 MDP를 각 VUE-페어별 MDP로 분해하여 복잡도를 감소시키고 분산형 의사결정을 가능하게 한다.
• 국소 네트워크 상태의 시간적 의존성과 부분 관측 가능성을 처리하기 위해 장기 기억 네트워크(LSTM)를 딥 Q-네트워크(DQN)에 통합한다.
• 과거의 국소 부분 관측 자료를 기반으로 최적 행동을 예측하는 프로액티브 딥 강화학습 알고리즘(제안된 DRQN 기반 프레임워크)을 개발한다.
• Q-함수 분해를 통해 다수의 VUE-페어 간 스케일러블 학습을 가능하게 하면서 RSU를 통한 협력 유지한다.
• 경험 재생과 타겟 네트워크를 사용하여 엔드 투 엔드로 에이전트를 훈련시켜 학습 안정성 향상과 수렴성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 시간 변동성 있는 트래픽 및 채널 조건을 가진 고속 이동성 차량 네트워크에서 프로액티브 무선 자원 관리를 어떻게 설계하여 연령 정보(AoI)를 최소화할 수 있는가?
• RQ2 LSTM를 통합한 딥 강화학습은 분산형 V2V RRM에서 부분 관측 가능성과 고차원 상태 공간의 과제를 어느 정도 완화할 수 있는가?
• RQ3 제안된 프로액티브 DRL 프레임워크는 반응형 또는 AoI 기반 아님 기준 알고리즘 대비 AoI, 유틸리티 및 에너지 효율성 측면에서 성능에서 어떤가?
• RQ4 VUE-페어 간 거리와 VUE-페어 수가 다양한 네트워크 하중 조건에서 AoI 기반 RRM 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 네트워크 동역학에 대한 사전 지식이나 통계 채널 모델이 없이도 최적의 장기 성능을 달성할 수 있는가?

주요 결과

• 제안된 프로액티브 DRL 알고리즘은 기존 최고 수준의 기준 대비 VUE-페어당 평균 유틸리티를 최대 30% 향상시킨다.
• VUE-페어 간 거리가 증가함에 따라(예: 65m에서 100m로) 평균 AoI는 약 25% 증가하지만, 제안된 방법은 기준 대비 이에 더 효과적으로 대응한다.
• 68개의 VUE-페어와 1슬롯당 4패킷의 패킷 도착률 조건에서 제안된 알고리즘은 AoI 기반 기준 대비 평균 AoI를 22% 감소시키고, 무작위 기준 대비 35% 감소시킨다.
• 특히 더 높은 거리에서 제안된 방법은 패킷 기반 및 AoI 기반 기준 대비 평균 전송 전력 소비가 더 낮아지며, 주파수 대역 할당 전략이 더 스마트하기 때문이다.
• VUE-페어 수가 30개에서 100개로 증가할 때, 제안된 알고리즘은 큐 기반 기준 대비 20% 높은 유틸리티를 유지하여 고부하 조건에서도 뛰어난 강건성을 보여준다.
• 큐 기반 및 무작위 기준은 AoI에서 유사한 성능을 보이며, 이는 랜덤 또는 큐 기반 할당이 채널 품질 정보를 활용하지 못한다는 것을 시사한다. 반면 제안된 방법은 이를 효과적으로 활용한다.