[论文解读] Adaptive Caching via Deep Reinforcement Learning.

Alireza Sadeghi, Gang Wang+1 more|arXiv (Cornell University)|Feb 27, 2019

Caching and Content Delivery参考文献 25被引用 3

一句话总结

本文提出了一种基于深度强化学习的自适应缓存框架，用于具有父节点和叶节点的去中心化内容分发网络。通过使用深度Q网络实时学习最优缓存策略，该系统能够适应动态的文件请求模式和未知的叶节点行为，在大规模连续状态空间中显著提升缓存性能。

ABSTRACT

Caching is envisioned to play a critical role in next-generation content delivery infrastructure, cellular networks, and Internet architectures. By smartly storing the most popular contents at the storage-enabled network entities during off-peak demand instances, caching can benefit both network infrastructure as well as end users, during on-peak periods. In this context, distributing the limited storage capacity across network entities calls for decentralized caching schemes. Many practical caching systems involve a parent caching node connected to multiple leaf nodes to serve user file requests. To model the two-way interactive influence between caching decisions at the parent and leaf nodes, a reinforcement learning framework is put forth. To handle the large continuous state space, a scalable deep reinforcement learning approach is pursued. The novel approach relies on a deep Q-network to learn the Q-function, and thus the optimal caching policy, in an online fashion. Reinforcing the parent node with ability to learn-and-adapt to unknown policies of leaf nodes as well as spatio-temporal dynamic evolution of file requests, results in remarkable caching performance, as corroborated through numerical tests.

研究动机与目标

• 解决具有父节点和叶节点的去中心化缓存在网络内容分发网络中的挑战。
• 对父节点和叶节点缓存决策之间的双向影响进行建模。
• 实现实时适应文件请求模式的时空变化。
• 处理实际缓存系统中典型的大型连续状态空间。
• 开发一种可扩展的在线学习机制，以推导最优缓存策略。

提出的方法

• 设计了一种强化学习框架，以模拟父节点和叶节点缓存决策之间的交互。
• 采用深度Q网络（DQN）来近似Q函数，并以在线端到端的方式学习最优缓存策略。
• 通过深度神经网络进行函数逼近，处理大型连续状态空间。
• 父节点能够在不依赖先验知识的情况下，学习并适应叶节点的未知策略和不断变化的请求动态。
• 通过持续在线训练，实现去中心化且可扩展的缓存决策。
• 系统通过平衡流行度和网络状态信息，以最大化长期缓存收益进行训练。

实验结果

研究问题

• RQ1 在具有父节点和叶节点的去中心化网络中，如何自适应地学习缓存策略？
• RQ2 深度Q网络在多大程度上能够有效处理现实缓存系统的大规模连续状态空间？
• RQ3 父节点适应未知叶节点行为的能力对整体缓存性能有何影响？
• RQ4 与静态或启发式缓存策略相比，在线深度强化学习能带来多大的性能提升？
• RQ5 在动态、时变的请求模式下，该框架的可扩展性如何？

主要发现

• 所提出的深度强化学习方法相比基线方法显著提升了缓存性能。
• 即使在叶节点行为未知的情况下，系统仍能实时有效学习最优缓存策略。
• 该框架在文件请求模式的时空动态变化中表现出强大的适应能力。
• 使用深度Q网络使得在大规模连续状态空间中实现可扩展学习成为可能。
• 数值评估结果证实了该自适应缓存策略在动态环境中的鲁棒性和有效性。
• 父节点的学习与适应能力显著提升了内容分发效率并降低了延迟。