[论文解读] Multi-Content Time-Series Popularity Prediction with Multiple-Model Transformers in MEC Networks

Zohreh Hajiakhondi-Meybodi, Arash Mohammadi+5 more|arXiv (Cornell University)|Oct 12, 2022

Caching and Content Delivery被引用 4

一句话总结

本文提出了一种基于多模型Transformer的边缘缓存框架（MTEC），用于在移动边缘计算（MEC）网络中预测多内容时间序列的流行度。该框架采用混合Transformer架构，联合预测前K名热门内容及其请求概率，以实现最优的编码/非编码内容放置。MTEC模型在缓存命中率和传输字节数方面均优于现有最先进方法，展现出在多样化内容动态下的卓越泛化能力。

ABSTRACT

Coded/uncoded content placement in Mobile Edge Caching (MEC) has evolved as an efficient solution to meet the significant growth of global mobile data traffic by boosting the content diversity in the storage of caching nodes. To meet the dynamic nature of the historical request pattern of multimedia contents, the main focus of recent researches has been shifted to develop data-driven and real-time caching schemes. In this regard and with the assumption that users' preferences remain unchanged over a short horizon, the Top-K popular contents are identified as the output of the learning model. Most existing datadriven popularity prediction models, however, are not suitable for the coded/uncoded content placement frameworks. On the one hand, in coded/uncoded content placement, in addition to classifying contents into two groups, i.e., popular and nonpopular, the probability of content request is required to identify which content should be stored partially/completely, where this information is not provided by existing data-driven popularity prediction models. On the other hand, the assumption that users' preferences remain unchanged over a short horizon only works for content with a smooth request pattern. To tackle these challenges, we develop a Multiple-model (hybrid) Transformer-based Edge Caching (MTEC) framework with higher generalization ability, suitable for various types of content with different time-varying behavior, that can be adapted with coded/uncoded content placement frameworks. Simulation results corroborate the effectiveness of the proposed MTEC caching framework in comparison to its counterparts in terms of the cache-hit ratio, classification accuracy, and the transferred byte volume.

研究动机与目标

• 为解决现有数据驱动流行度预测模型在支持编码/非编码内容放置方面的局限性，后者需要超出仅Top-K分类的请求概率估计。
• 开发一种实时、可泛化的流行度预测框架，能够适应随时间变化的内容请求模式，包括非平滑动态模式。
• 通过准确预测内容流行度和请求概率，提升MEC网络中的缓存命中率并减少数据传输量。
• 实现在以集群为中心的MEC架构中，将预测模型有效集成到非编码与编码/非编码内容放置策略中。
• 克服传统统计和基于机器学习的流行度预测模型中常见的冷启动和稀疏性问题。

提出的方法

• MTEC框架采用多模型（混合）Transformer架构，包含两条并行分支：一条用于时间序列请求模式的序列建模，另一条用于内容特定特征编码。
• 每条分支均使用多头自注意力机制处理内容请求数据，以捕捉长程时间依赖关系和内容间关联。
• 两条分支的输出通过全连接层融合，生成对前K名热门内容及其请求概率的联合预测。
• 框架采用端到端训练方式，损失函数为多任务损失，结合了用于流行度排序的分类损失和用于请求概率估计的回归损失。
• 该架构设计兼容非编码与编码/非编码内容放置，通过提供部分或完整缓存决策的请求概率预测。
• 模型在Movielens数据集上进行评估，采用缓存命中率、传输字节数和分类准确率等指标。

Figure 1: A typical structure of a cluster-centric and UAV-aided cellular networks.

实验结果

研究问题

• RQ1 深度学习模型能否联合预测前K名热门内容及其请求概率，以支持MEC网络中的编码/非编码内容放置？
• RQ2 混合Transformer架构在预测多样化内容类型的时间变动态流行度模式方面，为何优于单一架构模型？
• RQ3 与现有最先进缓存方案相比，所提出的MTEC框架在提升缓存命中率和减少数据传输量方面达到何种程度的改进？
• RQ4 MTEC模型在处理现实MEC部署中常见的非平滑、动态请求模式方面，是否比现有模型具有更好的泛化能力？
• RQ5 多Transformer分支的融合如何提升多内容流行度预测的准确性和鲁棒性？

主要发现

• 在Movielens数据集上，MTEC框架在所有对比基线中实现了最高的缓存命中率，包括LRU、LFU、PopCaching、LSTM-C、TC、RCT和TEDGE。
• MTEC在传输字节数方面优于RCT和TEDGE基线，表明其因更高的预测准确性而实现了更高效的数据传输。
• 采用全连接融合层的MTEC架构（MTEC-AT）在分类准确率上优于单Transformer模型如TC和TRC。
• 所提出的MTEC框架在多样化内容动态下表现出卓越的泛化能力，包括非平滑和快速变化的请求模式。
• 仿真结果证实，MTEC模型预测请求概率的能力使其能有效集成到编码/非编码内容放置策略中，从而提升整体网络效率。
• MTEC框架通过准确识别应部分或完全缓存的内容，减少了对完整内容复制的需求。

Figure 2: Block diagram of the proposed MTEC architecture.