[논문 리뷰] Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning

Qiong Wu, Yu Zhao외 4명|arXiv (Cornell University)|2022. 08. 02.

Caching and Content Delivery인용 수 6

한 줄 요약

이 논문은 차량 에지 컴퓨팅(Vehicle Edge Computing, VEC)에서 이동성 인식 협업 캐싱 기법인 CAFR를 제안한다. 이는 이방향 연합 학습(FL)과 딥 강화 학습(DRL)을 통합하여 인기 콘텐츠를 예측하고 캐싱 위치를 최적화한다. 차량 이동성 데이터를 활용해 이방향 모델 집계를 수행하고, 듀얼링 DQN을 사용해 최적의 캐싱 정책을 결정함으로써, 훈련 시간을 최대 90% 감소시키고 캐시 히트율을 2.5% 향상시키며 콘텐츠 전송 지연을 최소화한다.

ABSTRACT

The vehicular edge computing (VEC) can cache contents in different RSUs at the network edge to support the real-time vehicular applications. In VEC, owing to the high-mobility characteristics of vehicles, it is necessary to cache the user data in advance and learn the most popular and interesting contents for vehicular users. Since user data usually contains privacy information, users are reluctant to share their data with others. To solve this problem, traditional federated learning (FL) needs to update the global model synchronously through aggregating all users' local models to protect users' privacy. However, vehicles may frequently drive out of the coverage area of the VEC before they achieve their local model trainings and thus the local models cannot be uploaded as expected, which would reduce the accuracy of the global model. In addition, the caching capacity of the local RSU is limited and the popular contents are diverse, thus the size of the predicted popular contents usually exceeds the cache capacity of the local RSU. Hence, the VEC should cache the predicted popular contents in different RSUs while considering the content transmission delay. In this paper, we consider the mobility of vehicles and propose a cooperative Caching scheme in the VEC based on Asynchronous Federated and deep Reinforcement learning (CAFR). We first consider the mobility of vehicles and propose an asynchronous FL algorithm to obtain an accurate global model, and then propose an algorithm to predict the popular contents based on the global model. In addition, we consider the mobility of vehicles and propose a deep reinforcement learning algorithm to obtain the optimal cooperative caching location for the predicted popular contents in order to optimize the content transmission delay. Extensive experimental results have demonstrated that the CAFR scheme outperforms other baseline caching schemes.

연구 동기 및 목표

• 차량 이동성이 높고 자주 연결이 끊기는 차량 에지 컴퓨팅(Vehicle Edge Computing, VEC) 환경에서 연합 학습(FL)의 정확도가 떨어지는 문제를 해결한다.
• 기존의 동기식 FL의 한계를 극복하기 위해, 동적 차량 연결성과 이동 패턴에 적응하는 이방향 FL 알고리즘을 제안한다.
• 이방향 FL을 통해 훈련된 글로벌 모델을 활용해 차량 사용자의 요청 패턴(역사적 및 실시간)을 기반으로 인기 콘텐츠를 예측하며, 사용자 데이터의 기밀성을 유지한다.
• 딥 강화 학습을 활용해 RSU 간 협업 캐싱을 최적화하여 콘텐츠 전송 지연을 최소화한다.
• 제한된 RSU 캐시 용량과 차량의 동적 이동성을 고려한 캐싱 전략을 설계한다.

제안 방법

• 모든 차량이 모이기를 기다리지 않고, 로컬 모델이 도착 즉시 집계하는 이방향 연합 학습 알고리즘을 제안하여 고속 이동 환경에서의 훈련 효율성과 모델 정확도를 향상시킨다.
• 위치, 속도, 이동 패턴 등의 차량 이동성 정보를 모델 집계 과정에 통합하여 신뢰도가 높고 대표성이 있는 차량을 선별해 글로벌 모델 업데이트를 강화한다.
• 훈련된 글로벌 모델을 활용해 역사적 및 실시간 사용자 요청 패턴을 기반으로 인기 콘텐츠를 예측하고 사전 캐싱을 가능하게 한다.
• 최적의 협업 캐싱 정책을 학습하기 위해 듀얼링 딥 Q네트워크(Dueling DQN) 알고리즘을 적용하여 예측된 인기 콘텐츠를 캐싱할 최적의 RSU를 선택함으로써 콘텐츠 전송 지연을 최소화한다.
• 캐시 용량 제약 조건과 이동성 인식 콘텐츠 배치를 균형 있게 고려해 캐시 히트율을 극대화하는 캐싱 결정 메커니즘을 설계한다.
• 이방향 FL과 DRL 모듈을 통합해 통합된 프레임워크(CAFR)를 설계하여, 개인정보 보호, 실시간, 이동성 인식 콘텐츠 캐싱을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고속 이동 차량 네트워크에서 차량이 자주 커버리지 영역을 벗어나는 환경에서 이방향 연합 학습은 글로벌 모델 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 모델 집계 과정에 차량의 위치 및 속도 데이터를 통합할 경우, VEC 환경에서 연합 학습 성능은 얼마나 향상되는가?
• RQ3 제안된 딥 강화 학습 기반 캐싱 정책은 기준 대비 콘텐츠 전송 지연을 얼마나 줄이는가?
• RQ4 RSU 캐시 용량이 제한된 조건에서 협업 캐싱은 캐시 히트율과 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 이방향 FL과 DRL의 통합은 동기식 FL이나 비협업 캐싱보다 동적 차량 환경에서 더 높은 성능을 달성할 수 있는가?

주요 결과

• CAFR는 라운드당 훈련 시간을 1~2초로 단축시켜, 동기식 집계로 인해 22~24초가 소요되는 FedAVG 대비 90% 향상시켰다.
• 30라운드 동안 CAFR의 캐시 히트율은 22.5~24%로 안정화되며, 동일 조건에서 FedAVG의 22~23.5%를 초월한다.
• 듀얼링 DQN 기반 캐싱 정책은 약 10개의 훈련 에피소드 내에 최적의 캐싱 결정에 수렴하며, 캐시 히트율 향상과 콘텐츠 전송 지연 감소를 동시에 달성한다.
• DRL가 없는 변형 대비 CAFR는 캐시 히트율을 2.5% 높이고 콘텐츠 전송 지연을 15~20% 감소시켜, 지능형 협업 캐싱의 효과를 입증한다.
• 이동성 인식 이방향 FL의 통합은 글로벌 모델 정확도를 크게 향상시켜, 이로 인해 인기 콘텐츠 예측 정확도도 향상된다.
• 시뮬레이션 결과는 차량 밀도와 캐시 용량이 다양할 경우에도 CAFR가 캐시 히트율, 훈련 효율성, 콘텐츠 전달 지연 측면에서 기준 대비 일관되게 뛰어난 성능을 보임을 확인한다.