[论文解读] Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning

Qiong Wu, Yu Zhao+4 more|arXiv (Cornell University)|Aug 2, 2022

Caching and Content Delivery被引用 6

一句话总结

本文提出CAFR，一种在车载边缘计算中考虑移动性的协作缓存方案，结合异步联邦学习（FL）与深度强化学习（DRL），以预测热门内容并优化缓存位置。通过利用车辆移动性数据进行异步模型聚合，并采用双值DQN确定最优缓存策略，CAFR将训练时间最多减少90%，同时将缓存命中率提高2.5%，并最小化内容传输延迟。

ABSTRACT

The vehicular edge computing (VEC) can cache contents in different RSUs at the network edge to support the real-time vehicular applications. In VEC, owing to the high-mobility characteristics of vehicles, it is necessary to cache the user data in advance and learn the most popular and interesting contents for vehicular users. Since user data usually contains privacy information, users are reluctant to share their data with others. To solve this problem, traditional federated learning (FL) needs to update the global model synchronously through aggregating all users' local models to protect users' privacy. However, vehicles may frequently drive out of the coverage area of the VEC before they achieve their local model trainings and thus the local models cannot be uploaded as expected, which would reduce the accuracy of the global model. In addition, the caching capacity of the local RSU is limited and the popular contents are diverse, thus the size of the predicted popular contents usually exceeds the cache capacity of the local RSU. Hence, the VEC should cache the predicted popular contents in different RSUs while considering the content transmission delay. In this paper, we consider the mobility of vehicles and propose a cooperative Caching scheme in the VEC based on Asynchronous Federated and deep Reinforcement learning (CAFR). We first consider the mobility of vehicles and propose an asynchronous FL algorithm to obtain an accurate global model, and then propose an algorithm to predict the popular contents based on the global model. In addition, we consider the mobility of vehicles and propose a deep reinforcement learning algorithm to obtain the optimal cooperative caching location for the predicted popular contents in order to optimize the content transmission delay. Extensive experimental results have demonstrated that the CAFR scheme outperforms other baseline caching schemes.

研究动机与目标

• 解决车载边缘计算（VEC）中因高移动性和频繁断连导致联邦学习全局模型更新不准确的挑战。
• 通过提出一种适应动态车辆连接性和移动性模式的异步FL算法，克服传统同步FL的局限性。
• 利用通过异步FL训练的全局模型预测车载用户热门内容，同时保护用户数据隐私。
• 通过深度强化学习优化RSU之间的协作缓存，以最小化内容传输延迟。
• 设计一种同时考虑RSU缓存容量限制与车辆动态移动性的缓存策略。

提出的方法

• 提出一种异步联邦学习算法，即在接收到本地模型后立即进行聚合，而非等待所有车辆参与，从而在高移动性环境中提升训练效率与模型准确性。
• 将车辆移动性信息（如位置、速度和运动模式）整合到模型聚合过程中，优先选择可靠且具代表性的车辆以更新全局模型。
• 利用训练好的全局模型，基于历史和实时的用户请求模式预测热门内容，实现主动缓存。
• 应用双值深度Q网络（DQN）算法，学习最优协作缓存策略，通过选择最佳RSU缓存预测的热门内容，以最小化内容传输延迟。
• 设计一种缓存决策机制，平衡缓存容量约束与移动性感知的内容放置，以最大化缓存命中率。
• 将异步FL与DRL组件整合为统一框架（CAFR），实现在VEC中隐私保护、实时且移动性感知的内容缓存。

实验结果

研究问题

• RQ1 在车辆频繁离开覆盖区域的高移动性车载网络中，异步联邦学习如何提升全局模型准确性？
• RQ2 在VEC中，将车辆移动性数据（位置与速度）融入模型聚合过程，能在多大程度上提升联邦学习性能？
• RQ3 与基线方案相比，所提出的基于深度强化学习的缓存策略在降低内容传输延迟方面表现如何？
• RQ4 在RSU缓存容量有限的情况下，协作缓存对缓存命中率与训练效率有何影响？
• RQ5 在动态车载环境中，异步FL与DRL的集成是否能实现优于同步FL或非协作缓存的性能？

主要发现

• CAFR方案将每轮训练时间缩短至1–2秒，相比FedAVG每轮需22–24秒（因同步聚合）减少了90%。
• 在30轮内，CAFR的缓存命中率稳定在22.5–24%之间，优于FedAVG在相同条件下的22–23.5%。
• CAFR中基于双值DQN的缓存策略使系统在约10次训练回合内收敛至最优缓存决策，显著提升缓存命中率并降低内容传输延迟。
• 与无DRL的变体相比，CAFR实现2.5%更高的缓存命中率和15–20%更低的内容传输延迟，证明了智能协作缓存的有效性。
• 移动性感知的异步FL集成显著提升了全局模型准确性，从而提高了热门内容预测的精度。
• 仿真结果证实，在不同车辆密度与缓存容量条件下，CAFR在缓存命中率、训练效率与内容交付时延方面均持续优于基线方案。