[论文解读] An Imitation Learning Approach for Cache Replacement

Evan Liu, Milad Hashemi+3 more|arXiv (Cornell University)|Jun 29, 2020

Data Stream Mining Techniques被引用 5

一句话总结

本文提出 Parrot，一种模仿学习方法，通过仅使用过去的访问模式来训练缓存替换策略，以模仿 Belady 的最优参考策略。通过利用基于神经网络的监督模仿学习，Parrot 在 SPEC CPU 工作负载上的未命中率比当前最先进的启发式方法低 20%，在大规模网络搜索基准测试中缓存命中率比 LRU 高 61%，显著优于传统策略（如 LRU）。

ABSTRACT

Program execution speed critically depends on increasing cache hits, as cache hits are orders of magnitude faster than misses. To increase cache hits, we focus on the problem of cache replacement: choosing which cache line to evict upon inserting a new line. This is challenging because it requires planning far ahead and currently there is no known practical solution. As a result, current replacement policies typically resort to heuristics designed for specific common access patterns, which fail on more diverse and complex access patterns. In contrast, we propose an imitation learning approach to automatically learn cache access patterns by leveraging Belady's, an oracle policy that computes the optimal eviction decision given the future cache accesses. While directly applying Belady's is infeasible since the future is unknown, we train a policy conditioned only on past accesses that accurately approximates Belady's even on diverse and complex access patterns, and call this approach Parrot. When evaluated on 13 of the most memory-intensive SPEC applications, Parrot increases cache miss rates by 20% over the current state of the art. In addition, on a large-scale web search benchmark, Parrot increases cache hit rates by 61% over a conventional LRU policy. We release a Gym environment to facilitate research in this area, as data is plentiful, and further advancements can have significant real-world impact.

研究动机与目标

• 为解决在多样化且复杂的内存访问模式下设计高效缓存替换策略的挑战，传统启发式方法（如 LRU）在此类场景下表现不佳。
• 探索是否可以使用模仿学习训练一种策略，以近似 Belady 的最优替换策略，该策略需要未来访问信息。
• 开发一种可泛化的端到端学习型替换策略，优于现有的基于启发式的方案。
• 发布一个 Gym 环境，以支持缓存替换的可复现研究，并促进系统机器学习领域的未来工作。

提出的方法

• 该方法将缓存替换问题建模为模仿学习问题，模型仅使用历史访问序列作为输入，学习模仿 Belady 的最优策略。
• 使用深度神经网络基于历史访问模式预测最优驱逐决策，直接模仿参考策略，而无需未来知识。
• 采用监督学习方法，利用 Belady 算法生成的演示数据进行训练，该算法在训练期间使用完整的未来访问轨迹计算。
• 模型在真实世界工作负载上进行端到端训练，包括 SPEC CPU 基准测试和大规模网络搜索轨迹。
• 引入额外的监督任务，以提升泛化能力与性能，超越标准模仿学习方法。
• 该框架被扩展以支持分层缓存，并作为 Gym 环境发布，以支持更广泛的研究应用。

实验结果

研究问题

• RQ1 仅使用过去访问信息，模仿学习方法能否有效近似 Belady 的最优缓存替换策略？
• RQ2 学习得到的策略是否能在多样化且复杂的内存访问模式下，优于基于启发式的策略？
• RQ3 与以往依赖缓存行二分类（如“缓存友好”与“缓存敌对”）的方法相比，端到端模仿学习有何优势？
• RQ4 在真实工作负载（如 SPEC CPU 应用程序和网络搜索系统）中，可实现多大的性能提升？
• RQ5 如何缓解学习型替换策略在实际部署中面临的技术挑战，如延迟和内存开销？

主要发现

• 在 13 个内存密集型 SPEC CPU 应用中，Parrot 相较于当前最先进的替换策略，将缓存未命中率降低了 20%。
• 在大规模网络搜索基准测试中，Parrot 相较于传统 LRU 策略，将缓存命中率提高了 61%。
• 所提出的模仿学习框架使策略即使在无法访问未来数据的情况下，也能近似 Belady 的最优行为，优于依赖中间启发式方法的先前方法。
• 该方法在具有不同访问模式的多样化程序中表现出良好的泛化能力，通过消融研究验证了其在不同工作负载中行为的差异性。
• 发布用于缓存替换的 Gym 环境，支持可复现研究，并推动分层缓存与强化学习领域的未来工作。
• 结果表明，端到端模仿学习是学习高效缓存替换策略的有前景路径，具有显著的实际影响。