[论文解读] Learning Forward Reuse Distance

Pengcheng Li, Yongbin Gu|arXiv (Cornell University)|Jul 31, 2020

Caching and Content Delivery参考文献 48被引用 7

一句话总结

该论文提出一种基于深度学习的方法，采用多LSTM模型仅从缓存追踪中预测未来重用距离，从而实现一种新型伪OPT缓存替换策略。该方法在13个真实工作负载上平均相比最先进实用策略提升19.2%，且相比最优（OPT）策略仅高出2.3%的缺失率。

ABSTRACT

Caching techniques are widely used in the era of cloud computing from applications, such as Web caches to infrastructures, Memcached and memory caches in computer architectures. Prediction of cached data can greatly help improve cache management and performance. The recent advancement of deep learning techniques enables the design of novel intelligent cache replacement policies. In this work, we propose a learning-aided approach to predict future data accesses. We find that a powerful LSTM-based recurrent neural network model can provide high prediction accuracy based on only a cache trace as input. The high accuracy results from a carefully crafted locality-driven feature design. Inspired by the high prediction accuracy, we propose a pseudo OPT policy and evaluate it upon 13 real-world storage workloads from Microsoft Research. Results demonstrate that the new cache policy improves state-of-art practical policies by up to 19.2% and incurs only 2.3% higher miss ratio than OPT on average.

研究动机与目标

• 解决仅使用历史缓存追踪预测缓存系统中未来数据访问模式的挑战。
• 设计一种机器学习模型，利用缓存追踪中的局部性信息，准确预测未来重用距离。
• 开发一种实用的、基于学习的缓存替换策略，近似最优（OPT）策略，而无需依赖未来访问信息。
• 在多样化的实际存储工作负载上评估所提方法，以验证其泛化能力与性能提升效果。

提出的方法

• 采用多LSTM循环神经网络架构，对缓存追踪中的序列访问模式进行建模，以预测未来重用距离。
• 整合基于局部性的特征，如地址差值和通过K-means聚类得到的访问模式，以提升模型的泛化能力与准确性。
• 在训练过程中对数据地址差值进行K-means聚类，以更好地捕捉重复访问模式，提升预测保真度。
• 设计一种伪OPT缓存替换策略，利用预测的未来重用距离选择最长预测重用距离的项目进行驱逐。
• 在缓存追踪上端到端训练模型，无需程序计数器或外部元数据，从而实现对Web缓存及其他系统的广泛适用性。
• 使用离线追踪驱动仿真在13个微软存储工作负载上评估该策略，以测量缺失率与性能提升。

实验结果

研究问题

• RQ1 仅以缓存追踪作为输入，无需程序计数器或外部元数据，深度学习模型能否准确预测未来重用距离？
• RQ2 基于局部性的特征工程方法在提升缓存工作负载中未来重用距离预测准确性方面效果如何？
• RQ3 通过学习预测未来重用距离，能否使实用的缓存替换策略在多大程度上逼近最优（OPT）策略的性能？
• RQ4 在多样化的真实工作负载中，所提出的伪OPT策略与现有最先进实用缓存替换策略相比表现如何？

主要发现

• 所提出的基于LSTM的模型仅依赖缓存追踪即可实现对未来重用距离的高精度预测，无需程序计数器或外部特征。
• 在地址差值上应用K-means聚类显著提升了预测准确性，有效捕捉了重复访问模式。
• 由此产生的伪OPT缓存替换策略在缓存命中率方面相比三种最先进实用策略最高提升19.2%。
• 在13个真实世界存储工作负载上，该新策略的平均缺失率仅比理论最优（OPT）策略高出2.3%。
• 该方法在多样化访问模式下展现出广泛的适用性，已在大量微软存储追踪中得到验证。
• 结果证实，深度学习可有效建模并预测缓存系统中基于历史访问序列的未来访问行为。