[论文解读] Multi-agent Learning for Cooperative Large-scale Caching Networks

Elahe Rezaei, Hafez Eslami Manoochehri+1 more|arXiv (Cornell University)|Jun 30, 2018

Caching and Content Delivery参考文献 20被引用 6

一句话总结

该论文提出 CoM-Cache，一种用于大规模缓存网络中协作缓存放置的多智能体强化学习框架，可动态适应内容流行度变化。通过利用局部值函数近似和去中心化学习，CoM-Cache 在缓存大小仅为 10% 时实现服务器负载降低超过 40%，优于 LRU 和独立 Q-learning 方法，同时通过交互局部性实现可扩展性。

ABSTRACT

Caching networks are designed to reduce traffic load at backhaul links, by serving demands from edge-nodes. In the past decades, many studies have been done to address the caching problem. However, in practice, finding an optimal caching policy is still challenging due to dynamicity of traffic and scalability caused by complex impact of caching strategy chosen by each individual cache on other parts of network. In this paper, we focus on cache placement to optimize the performance metrics such as hit ratio in cooperative large-scale caching networks. Our proposed solution, cooperative multi-agent based cache placement (CoM-Cache) is based on multi-agent reinforcement learning framework and can seamlessly track the content popularity dynamics in an on-line fashion. CoM-Cache is enable to solve the problems over a spectrum from isolated to interconnected caches and is designed flexibly to fit any caching networks. To deal with dimensionality issue, CoM-Cache exploits the property of locality of interactions among caches. The experimental results report CoM-Cache outperforms base-line schemes, however at the expense of reasonable additional complexity.

研究动机与目标

• 解决大规模协作缓存网络中动态内容流行度和可扩展性挑战。
• 设计一种去中心化、在线学习框架，使缓存无需集中协调即可协同工作。
• 通过利用缓存交互的局部性，平衡协同带来的收益与计算复杂度。
• 在动态流量环境中提升全局命中率和单个缓存的性能。
• 在命中率和服务器负载降低方面优于 LRU 和独立 Q-learning 等基线方案。

提出的方法

• CoM-Cache 采用多智能体强化学习（MARL）框架，其中每个缓存作为独立智能体，拥有局部值函数。
• 该方法使用近似分解效用函数，将值函数作用范围限制在相邻缓存之间，降低维度并实现可扩展性。
• 每个智能体基于本地观测和奖励学习 Q 函数，奖励来源于命中率和传输成本的综合考量。
• 该算法支持免费和高成本的跨缓存通信，可建模现实中的带宽限制。
• 采用去中心化的在线学习过程，可适应随时间变化的内容流行度，无需预先掌握需求分布信息。
• 该框架具有灵活性，可应用于孤立和互联的缓存拓扑结构。

实验结果

研究问题

• RQ1 如何在大规模缓存网络中以去中心化、可扩展的方式学习协作缓存放置？
• RQ2 在动态内容流行度下，缓存间的协作在多大程度上能提升命中率并降低服务器负载？
• RQ3 随着网络规模和缓存容量的变化，协调成本与性能增益之间的权衡如何变化？
• RQ4 基于 MARL 的方法是否能在动态环境中优于传统反应式方法（如 LRU）和独立学习方法（如 IQL）？
• RQ5 局部值函数近似在降低计算复杂度的同时，对性能保持的有效性如何？

主要发现

• 即使缓存大小仅为 10%，CoM-Cache 仍实现超过 40% 的服务器负载降低，显著优于 LRU 和 IQL。
• 随着内容库规模增大，CoM-Cache 与 IQL 的性能差距进一步扩大，表明在更大、更复杂的网络中协作优势更明显。
• 在考虑传输成本的 CoM-Cache II 中，个体命中率提升，但整体命中率下降，反映出成本感知学习带来的局部与全局性能之间的权衡。
• 在 CoM-Cache I（免费通信）中，个体命中率并非随带宽单调增加，因为智能体优先考虑全局命中率而非本地效率。
• 无论网络规模从 4×4 到 100×100 如何变化，CoM-Cache 的性能有效性始终维持在乐观上界（IO-UB）的约 80%，表明其具备强大的可扩展性。
• 即使在 IO-UB 估计中移除部分连接，CoM-Cache 的性能仍保持较高水平，仅略有下降。