[论文解读] A Deep Reinforcement Learning-Based Framework for Content Caching

Chen Zhong, M. Cenk Gursoy+1 more|arXiv (Cornell University)|Dec 21, 2017

Caching and Content Delivery被引用 12

一句话总结

本文提出一种基于Wolpertinger架构的深度强化学习（DRL）框架，用于在基站处进行内容缓存，以在不依赖内容流行度先验知识的情况下最大化长期缓存命中率。该方法通过使用原型动作的k近邻（KNN）扩展来限制动作空间，从而降低计算成本，在性能上与深度Q网络（DQN）相当，同时显著减少运行时间。

ABSTRACT

Content caching at the edge nodes is a promising technique to reduce the data traffic in next-generation wireless networks. Inspired by the success of Deep Reinforcement Learning (DRL) in solving complicated control problems, this work presents a DRL-based framework with Wolpertinger architecture for content caching at the base station. The proposed framework is aimed at maximizing the long-term cache hit rate, and it requires no knowledge of the content popularity distribution. To evaluate the proposed framework, we compare the performance with other caching algorithms, including Least Recently Used (LRU), Least Frequently Used (LFU), and First-In First-Out (FIFO) caching strategies. Meanwhile, since the Wolpertinger architecture can effectively limit the action space size, we also compare the performance with Deep Q-Network to identify the impact of dropping a portion of the actions. Our results show that the proposed framework can achieve improved short-term cache hit rate and improved and stable long-term cache hit rate in comparison with LRU, LFU, and FIFO schemes. Additionally, the performance is shown to be competitive in comparison to Deep Q-learning, while the proposed framework can provide significant savings in runtime.

研究动机与目标

• 为解决在动态、高流量无线网络中内容缓存的挑战，利用深度强化学习实现自适应缓存决策。
• 设计一种DRL智能体，以在不依赖内容流行度分布先验知识的情况下最大化长期缓存命中率。
• 在保持高性能的同时，降低动作空间选择的计算复杂度，尤其适用于大规模缓存场景。
• 评估所提方法在性能与运行时间效率之间权衡的表现，相较于传统缓存算法及基于DQN的方法。

提出的方法

• 该框架采用基于Wolpertinger架构的DRL智能体，利用原型动作和基于KNN的动作扩展来限制有效动作空间。
• DRL智能体使用深度确定性策略梯度（DDPG）算法进行训练，以优化缓存替换策略。
• 状态空间包括当前缓存内容和请求历史，动作空间由待缓存或驱逐的内容ID组成。
• 定义奖励函数以激励缓存命中，从本地缓存中服务请求内容可获得更高奖励。
• KNN组件选择与原型动作最相似的k个动作，从而减少智能体在每一步必须评估的动作数量。
• 系统在单个基站环境中运行，缓存容量固定为C，内容请求实时处理以更新缓存。

实验结果

研究问题

• RQ1 基于DRL的缓存策略是否能在不依赖内容流行度先验知识的情况下，实现高于传统算法（如LRU、LFU和FIFO）的长期缓存命中率？
• RQ2 与完整动作空间的DQN方法相比，基于Wolpertinger的动作空间缩减对性能和运行时间有何影响？
• RQ3 KNN扩展动作数量（k₁与k₂）的变化对缓存策略的稳定性和性能有何影响？
• RQ4 所提框架在缓存容量增加和内容流行度动态变化时的可扩展性如何？
• RQ5 在内容流行度发生转移的环境中，DRL智能体能否在降低计算开销的同时保持高性能？

主要发现

• 所提出的DRL框架在动态流行度变化下实现了更高且更稳定的长期缓存命中率，尤其在内容流行度动态变化时表现更优。
• 在缓存容量C=300时，该框架在所有测试的流行度分布下（包括Zipf(1.3)）均优于LRU、LFU和FIFO。
• 与DQN相比，该框架在缓存命中率上表现相当，但运行时间减少74%（每决策周期0.1163秒 vs. 1.2225秒）。
• 随着缓存容量增加，该框架与DQN之间的性能差距缩小，表明其具备良好的可扩展性和鲁棒性。
• 采用k₁ = ⌈0.15C⌉和k₂ = ⌈0.05C⌉进行KNN扩展时，性能稳定，且k₂在运行时间效率上略优。
• 该框架对内容流行度变化表现出强适应能力，在流行度分布随时间变化时仍能维持高命中率。