[论文解读] Model and Machine Learning based Caching and Routing Algorithms for Cache-enabled Networks

Adita Kulkarni, Anand Seetharam|arXiv (Cornell University)|Apr 14, 2020

Caching and Content Delivery参考文献 19被引用 5

一句话总结

本文提出并比较了基于模型和机器学习的方法，用于优化缓存增强网络中的缓存与路由策略，表明内容受欢迎程度的偏态分布和请求的相关性对性能有关键影响。研究显示，将最短路径路由与备用路径路由及内容搜索相结合，可显著提高命中率并降低延迟，而深度强化学习与迁移学习相较于传统方法展现出显著的性能提升。

ABSTRACT

In-network caching is likely to become an integral part of various networked systems (e.g., 5G networks, LPWAN and IoT systems) in the near future. In this paper, we compare and contrast model-based and machine learning approaches for designing caching and routing strategies to improve cache network performance (e.g., delay, hit rate). We first outline the key principles used in the design of model-based strategies and discuss the analytical results and bounds obtained for these approaches. By conducting experiments on real-world traces and networks, we identify the interplay between content popularity skewness and request stream correlation as an important factor affecting cache performance. With respect to routing, we show that the main factors impacting performance are alternate path routing and content search. We then discuss the applicability of multiple machine learning models, specifically reinforcement learning, deep learning, transfer learning and probabilistic graphical models for the caching and routing problem.

研究动机与目标

• 分析并比较缓存增强网络中基于模型与基于机器学习的缓存与路由策略。
• 识别现实网络追踪中影响性能的关键因素，如内容受欢迎程度的偏态分布与请求流相关性。
• 评估强化学习、深度学习、迁移学习与概率图模型在动态缓存与路由中的有效性。
• 突出部署机器学习模型所面临的挑战，包括计算成本、可解释性以及在不同网络环境中的分布偏移问题。

提出的方法

• 利用真实网络追踪，在不同内容受欢迎程度与请求相关性条件下评估性能。
• 采用基于模型的分析方法，推导缓存与路由策略的理论边界与性能保证。
• 应用强化学习（如A3C、DDPG、DQN、TRPO）在动态环境中学习最优缓存与路由决策。
• 利用迁移学习将一种网络环境中训练的模型适应到新的、未见过的环境。
• 采用概率图模型（如HMM、MRF、CRF）预测内容受欢迎程度并建模请求模式中的依赖关系。
• 将最短路径路由与备用路径路由及内容搜索相结合，以提升性能。

实验结果

研究问题

• RQ1 内容受欢迎程度的偏态分布与请求流相关性如何共同影响缓存网络性能？
• RQ2 备用路径路由与内容搜索对缓存命中率与延迟有何影响？
• RQ3 不同机器学习模型（如深度强化学习、迁移学习、图模型）在优化缓存与路由决策方面表现如何比较？
• RQ4 在真实、动态的网络环境中部署机器学习模型用于缓存与路由时，面临哪些关键挑战？
• RQ5 在一种网络环境中训练的模型能否有效泛化到新的、未见过的网络配置？

主要发现

• 内容受欢迎程度的偏态分布与请求流相关性是关键且相互关联的因素，显著影响缓存性能。
• 在最短路径路由基础上增加备用路径路由与内容搜索，可显著提升缓存命中率并降低延迟。
• 深度强化学习模型（如A3C与DDPG）通过支持高效探索与离策略学习，实现优异性能。
• 迁移学习提升了模型在新网络环境中的适应能力，减少了从头开始重新训练的需求。
• 概率图模型具有较低的训练成本与较强的可解释性，判别式模型（如CRF）通常在预测准确性上优于生成式模型。
• 主要挑战在于分布偏移：在一种环境中训练的模型在新的、未见过的网络环境中常表现不佳，凸显了对鲁棒、可泛化训练数据的需求。