[논문 리뷰] Optimizing Age of Information in Vehicular Edge Computing with Federated Graph Neural Network Multi-Agent Reinforcement Learning

Wenhua Wang, Qiong Wu외 5명|arXiv (Cornell University)|2024. 07. 01.

Age of Information Optimization인용 수 4

한 줄 요약

이 논문은 차량 네트워크를 동적 그래프로 모델링하고 그래프 기반 연합 학습을 사용하여 차량 엣지 컴퓨팅(Vehicular Edge Computing)에서 정보의 나이(Age of Information, AoI)를 최적화하는 새로운 프레임워크인 연합 그래프 신경망 다중 에이전트 강화학습(Federated Graph Neural Network Multi-Agent Reinforcement Learning, FGNN-MADRL)을 제안한다. 프라이버시를 보존하는 연합 학습 아키텍처 하에서 그래프 신경망(GNNs)과 다중 에이전트 딥 강화학습을 통합함으로써, 특히 높은 차량 밀도와 동적 이동 조건에서 기존 방법에 비해 평균 AoI를 낮추고 에너지 효율성을 향상시킨다.

ABSTRACT

With the rapid development of intelligent vehicles and Intelligent Transport Systems (ITS), the sensors such as cameras and LiDAR installed on intelligent vehicles provides higher capacity of executing computation-intensive and delay-sensitive tasks, thereby raising deployment costs. To address this issue, Vehicular Edge Computing (VEC) has been proposed to process data through Road Side Units (RSUs) to support real-time applications. This paper focuses on the Age of Information (AoI) as a key metric for data freshness and explores task offloading issues for vehicles under RSU communication resource constraints. We adopt a Multi-agent Deep Reinforcement Learning (MADRL) approach, allowing vehicles to autonomously make optimal data offloading decisions. However, MADRL poses risks of vehicle information leakage during communication learning and centralized training. To mitigate this, we employ a Federated Learning (FL) framework that shares model parameters instead of raw data to protect the privacy of vehicle users. Building on this, we propose an innovative distributed federated learning framework combining Graph Neural Networks (GNN), named Federated Graph Neural Network Multi-Agent Reinforcement Learning (FGNN-MADRL), to optimize AoI across the system. For the first time, road scenarios are constructed as graph data structures, and a GNN-based federated learning framework is proposed, effectively combining distributed and centralized federated aggregation. Furthermore, we propose a new MADRL algorithm that simplifies decision making and enhances offloading efficiency, further reducing the decision complexity. Simulation results demonstrate the superiority of our proposed approach to other methods through simulations.

연구 동기 및 목표

• 높은 차량 밀도와 동적 이동 조건에서 차량 엣지 컴퓨팅(VEC) 환경에서 데이터 신선도를 유지를 위한 과제를 해결한다.
• 모델 집합 과정에서 원시 차량 데이터가 노출되는 중심화된 다중 에이전트 강화학습(MADRL) 학습의 프라이버시 위험을 해소한다.
• 차량 네트워크의 위상적 및 동적 특성을 그래프 표현 학습을 통해 활용하여 AoI 성능을 향상시킨다.
• 차량별 기여도를 고려한 경량이고 개인화된 집합 메커니즘을 설계하여 MADRL의 의사결정 복잡도를 감소시킨다.
• 연합 학습과 그래프 신경망을 융합하여 확장성, 프라이버시 및 성능을 균형 잡은 분산형, 프라이버시 보존 학습 프레임워크를 개발한다.

제안 방법

• 차량과 RSU를 노드로, 통신 링크를 간선으로 하는 동적 그래프로 차량 네트워크를 모델링하여 공간적 및 시간적 종속성 모델링을 가능하게 한다.
• 그래프 신경망(GNNs)을 연합 학습 프레임워크에 통합하여 속도, 데이터 볼륨, 모델 학습 품질과 같은 차량 특성 정보를 추출하고 집계한다.
• GNN으로 학습된 노드 중요도를 기반으로 모델 업데이트를 가중치화하는 개인화된 연합 집합 메커니즘을 설계하여 표준 FedAvg 대비 수렴성과 성능을 향상시킨다.
• 각 차량이 로컬 관측치와 글로벌 그래프 기반 상태 표현에 기반해 오프로딩 결정을 내리는 새로운 MADRL 알고리즘—FGNN-MADRL—을 개발한다.
• 원시 데이터 공유 없이 중앙 RSU를 통해 오직 모델 파ameter나 기울기만 교환함으로써 모델 학습과 원시 데이터 공유를 분리하여 프라이버시를 보장하면서도 협업 학습을 가능하게 한다.
• 분산형 GNN 기반 특성 학습과 중심화된 연합 모델 집합을 융합하여 대규모 VEC 환경에서 확장성, 프라이버시 및 성능의 균형을 맞춘다.

Figure 1: System Scenario

실험 결과

연구 질문

• RQ1 차량 네트워크를 그래프로 모델링하는 것이 동적 차량 상호작용의 표현을 향상시키고 VEC에서 AoI 최적화에 기여하는가?
• RQ2 GNN을 연합 다중 에이전트 강화학습에 통합할 경우, 표준 MADRL 또는 FL 방법에 비해 의사결정 복잡도를 줄이고 AoI 성능을 향상시키는가?
• RQ3 GNN으로 학습된 차량 중요도에 따라 가중치를 부여한 개인화된 연합 집합 방식이, FL 기반 VEC 시스템에서 균일 평균화 방식보다 얼마나 뛰어나게 성능을 높이는가?
• RQ4 FGNN-MADRL은 다양한 차량 밀도와 속도 조건에서 어떻게 성능을 발휘하는가? 특히 AoI, 전력 소비 및 대역폭 측면에서 어떻게 되는가?
• RQ5 제안된 프레임워크는 탈중앙화된 VEC 환경에서 통신 오버헤드를 최소화하고 사용자 데이터 프라이버시를 보존하면서도 낮은 AoI를 유지할 수 있는가?

주요 결과

• FGNN-MADRL은 모든 테스트 시나리오에서 가장 낮은 평균 정보의 나이(AoI)를 기록하며, 특히 높은 차량 도착률 조건에서 GFSAC, LFSAC 및 GBDR에 비해 뚜렷한 성능 우월성을 보였다.
• FGNN-MADRL의 평균 AoI는 차량 밀도 증가에 따라 다소만 증가하는 반면, LFSAC 및 GBDR는 급격한 증가를 보이며 네트워크 부하에 대한 뛰어난 내구성을 보였다.
• 모든 방식 중에서 FGNN-MADRL이 가장 낮은 평균 전력 소비를 유지하였으며, GNN가 학습한 차량 상태에 기반한 지능적인 전력 할당 덕분에 에너지 효율성이 뛰어나다는 것을 입증하였다.
• 차량 속도와 밀도 증가 조건에서도 FGNN-MADRL의 대역폭은 가장 높았으며, 그래프 기반 환경 인식에 기반한 협업적 의사결정으로 간섭을 효과적으로 줄여 기여하였다.
• GNN 구성요소는 모델 일반화 능력을 향상시켰다: 너무 많은 또는 너무 적은 GNN 노드는 성능을 저하시키며, 정보 추출과 학습 안정성에 최적의 그래프 구조가 존재함을 시사한다.
• FGNN-MADRL은 비-RL 기반 기준(예: GBDR)과 표준 FL 기반 RL 방법(예: GFSAC)에 비해 특히 위상 인식 학습이 핵심이 되는 동적 고속 이동 환경에서 뚜렷한 성능 향상을 보였다.

Figure 2: Distributed FL Based on GNN.