[논문 리뷰] An O(1) algorithm for implementing the LFU cache eviction scheme

Dhruv Mátáni, Ketan Shah외 1명|arXiv (Cornell University)|2021. 10. 22.

Caching and Content Delivery참고 문헌 6인용 수 16

한 줄 요약

이 논문은 빈도 수준을 위한 이중 연결 리스트 구조와 키 기반 액세스를 위한 해시 테이블을 사용하여 LFU(Least Frequently Used) 캐시 제거 전략을 O(1)으로 구현하는 알고리즘을 제시한다. 이 방법은 빈도 노드와 원소 집합을 동적으로 관리함으로써 삽입, 검색, 제거 작업을 모두 일정 시간 내에 수행하여 모든 연산에서 최적의 O(1) 성능을 달성한다.

ABSTRACT

Cache eviction algorithms are used widely in operating systems, databases and other systems that use caches to speed up execution by caching data that is used by the application. There are many policies such as MRU (Most Recently Used), MFU (Most Frequently Used), LRU (Least Recently Used) and LFU (Least Frequently Used) which each have their advantages and drawbacks and are hence used in specific scenarios. By far, the most widely used algorithm is LRU, both for its $O(1)$ speed of operation as well as its close resemblance to the kind of behaviour that is expected by most applications. The LFU algorithm also has behaviour desirable by many real world workloads. However, in many places, the LRU algorithm is is preferred over the LFU algorithm because of its lower run time complexity of $O(1)$ versus $O(\log n)$. We present here an LFU cache eviction algorithm that has a runtime complexity of $O(1)$ for all of its operations, which include insertion, access and deletion(eviction).

연구 동기 및 목표

• 힙 기반 빈도 추적으로 인해 O(log n) 시간에 작동하는 기존 LFU 캐시의 성능 저하 문제를 해결하기 위해.
• 모든 LFU 연산을 O(1) 시간에 지원하는 데이터 구조를 설계하여, LRU의 효율성과 동일하면서도 LFU의 빈도 기반 제거 의미를 유지하기 위해.
• 네트워크 프록시 및 데이터베이스와 같은 고처리량 시스템에서 LFU의 실용적 구현을 가능하게 하여, 저지연 캐시 연산이 필수적인 환경에서 사용하기 위해.
• 기존 구현에서 빈도 업데이트 시 힙 재조정이 발생해 성능이 저하되는 문제를 제거하기 위해.

제안 방법

• 각 노드가 특정 빈도 수준을 나타내며, 해당 빈도 수준의 키 집합을 포함하는 빈도 노드로 이루어진 이중 연결 리스트를 사용한다.
• 해시 테이블은 각 키를 해당 LFU 항목으로 매핑하며, 이 항목은 부모 빈도 노드에 대한 참조를 유지한다.
• 항목이 액세스되면 현재 빈도 노드에서 다음으로 높은 빈도 노드로 이동하며, 존재하지 않으면 필요에 따라 즉시 생성된다.
• 빈도 목록은 정렬된 순서로 유지되며, 가장 덜 자주 사용된 항목이 앞에 위치하여 최소 빈도 노드에 O(1)으로 접근할 수 있다.
• GET-NEW-NODE라는 보조 함수는 필요할 때만 기존 노드 사이에 새로운 빈도 노드를 삽입하여 최소한의 오버헤드를 보장한다.
• DELETE-NODE 함수는 관련된 집합이 비어있어지면 빈도 노드를 목록에서 제거하여 목록의 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 모든 핵심 연산인 삽입, 액세스, 제거에 대해 LFU 캐시 제거 전략을 O(1) 시간 복잡도로 구현할 수 있는가?
• RQ2 힙이나 균형 잡힌 트리 구조에 의존하지 않고도 빈도 기반 순서를 유지할 수 있는가?
• RQ3 동적 빈도 노드 생성 및 목록 조작을 어떻게 설계하여 일정 시간 성능을 확보할 수 있는가?
• RQ4 어떤 데이터 구조 설계가 빈도 수준 간 항목 이동을 효율적으로 수행하면서도 O(1) 복잡도를 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 삽입, 검색, 제거를 포함한 모든 LFU 연산에서 O(1) 시간 복잡도를 달성한다.
• 필요할 때만 노드를 생성하는 빈도 기반 연결 리스트를 사용함으로써, 이전에 O(log n) 오버헤드를 유발했던 힙 재조정이 필요 없어졌다.
• 해시 테이블은 O(1) 키 기반 액세스를 보장하며, 빈도 목록은 목록의 머리 부분을 통해 가장 덜 자주 사용된 항목에 O(1)으로 접근할 수 있게 한다.
• 알고리즘은 필요할 때만 빈도 노드를 동적으로 유지함으로써 메모리와 계산 오버헤드를 감소시킨다.
• 포인터 업데이트와 목록 인variants 유지 작업을 통해 빈도 수준 간 항목 이동을 효율적으로 수행하며, 일정 시간 내에 완료된다.