[论文解读] An O(1) algorithm for implementing the LFU cache eviction scheme

Dhruv Mátáni, Ketan Shah+1 more|arXiv (Cornell University)|Oct 22, 2021

Caching and Content Delivery参考文献 6被引用 16

一句话总结

本文提出了一种通过使用频率层级的双重链表结构和基于键的哈希表，实现 O(1) 时间复杂度的 LFU（最少使用）缓存淘汰算法。该方法通过动态管理频率节点和元素集合，保持插入、查找和淘汰操作的常数时间复杂度，从而在所有操作中实现最优的 O(1) 性能。

ABSTRACT

Cache eviction algorithms are used widely in operating systems, databases and other systems that use caches to speed up execution by caching data that is used by the application. There are many policies such as MRU (Most Recently Used), MFU (Most Frequently Used), LRU (Least Recently Used) and LFU (Least Frequently Used) which each have their advantages and drawbacks and are hence used in specific scenarios. By far, the most widely used algorithm is LRU, both for its $O(1)$ speed of operation as well as its close resemblance to the kind of behaviour that is expected by most applications. The LFU algorithm also has behaviour desirable by many real world workloads. However, in many places, the LRU algorithm is is preferred over the LFU algorithm because of its lower run time complexity of $O(1)$ versus $O(\log n)$. We present here an LFU cache eviction algorithm that has a runtime complexity of $O(1)$ for all of its operations, which include insertion, access and deletion(eviction).

研究动机与目标

• 解决传统 LFU 缓存因基于堆的频率追踪导致 O(log n) 时间复杂度而产生的性能瓶颈。
• 设计一种数据结构，使所有 LFU 操作在 O(1) 时间内完成，达到 LRU 的效率，同时保持 LFU 基于频率的淘汰语义。
• 使 LFU 在高吞吐量系统（如网络代理和数据库）中可实际部署，这些系统对低延迟缓存操作有严格要求。
• 消除现有实现中频率更新时堆重新组织带来的性能下降问题。

提出的方法

• 该算法使用频率节点的双向链表，每个节点代表一个频率层级，并包含具有该频率的键的集合。
• 一个哈希表将每个键映射到其对应的 LFU 项，该 LFU 项维护对其父频率节点的引用。
• 当一个项被访问时，它会从当前频率节点移动到下一个更高的频率节点，若该节点不存在则按需创建。
• 频率链表保持有序排列，最不常使用的项位于链表前端，从而实现对最小频率节点的 O(1) 访问。
• 一个辅助函数 GET-NEW-NODE 仅在需要时将新频率节点插入到现有节点之间，确保最小开销。
• DELETE-NODE 函数在关联集合变为空时从链表中删除频率节点，从而保持链表完整性。

实验结果

研究问题

• RQ1 是否可以实现所有核心操作（包括插入、访问和淘汰）均为 O(1) 时间复杂度的 LFU 缓存淘汰策略？
• RQ2 是否可能在不依赖堆或平衡树结构的前提下，维持基于频率的排序？
• RQ3 如何设计动态频率节点创建和链表操作，以确保常数时间性能？
• RQ4 何种数据结构设计能够实现项在频率层级间高效移动，同时保持 O(1) 复杂度？

主要发现

• 所提出的算法在所有 LFU 操作（插入、查找和淘汰）中均实现 O(1) 时间复杂度。
• 使用按需创建节点的频率链接列表，消除了之前因堆重新组织带来的 O(log n) 开销。
• 哈希表确保了 O(1) 的基于键的访问，频率链表则通过链表头实现对最不常使用项的 O(1) 访问。
• 该算法仅在必要时动态维护频率节点，从而减少内存和计算开销。
• 通过更新指针并保持链表不变性，该方法实现了项在频率层级间高效移动，且时间复杂度恒为 O(1)。