[논문 리뷰] TinyLFU: A Highly Efficient Cache Admission Policy

Gil Einziger, Roy Friedman외 1명|arXiv (Cornell University)|2015. 12. 02.

Caching and Content Delivery참고 문헌 58인용 수 26

한 줄 요약

이 논문은 메타데이터 오버헤드를 최소화하면서 접근 빈도를 근사적으로 추정하는 데에 counting Bloom filter를 사용하는 공간 효율적인 근사 빈도 기반 캐시 입구 정책인 TinyLFU를 제안한다. 어떤 교체 정책과도 통합할 수 있으며, 특히 W-TinyLFU 변종을 통해 다양한 실세계 워크로드에서 최신 기술 수준의 히트 비율을 달성한다. 모든 테스트 트레이스에서 기존 기법들을 능가하며, 항목당 0.8바이트만 사용한다.

ABSTRACT

This paper proposes to use a frequency based cache admission policy in order to boost the effectiveness of caches subject to skewed access distributions. Given a newly accessed item and an eviction candidate from the cache, our scheme decides, based on the recent access history, whether it is worth admitting the new item into the cache at the expense of the eviction candidate. Realizing this concept is enabled through a novel approximate LFU structure called TinyLFU, which maintains an approximate representation of the access frequency of a large sample of recently accessed items. TinyLFU is very compact and light-weight as it builds upon Bloom filter theory. We study the properties of TinyLFU through simulations of both synthetic workloads as well as multiple real traces from several sources. These simulations demonstrate the performance boost obtained by enhancing various replacement policies with the TinyLFU eviction policy. Also, a new combined replacement and eviction policy scheme nicknamed W-TinyLFU is presented. W-TinyLFU is demonstrated to obtain equal or better hit-ratios than other state of the art replacement policies on these traces. It is the only scheme to obtain such good results on all traces.

연구 동기 및 목표

• 실세계 캐싱 시스템에서 동적 접근 패턴을 고려할 때 정확한 LFU의 높은 메모리 및 계산 비용을 해결하기 위해.
• 모든 항목을 메인 메모리에서 추적하지 않으면서도 빈도 기반 캐싱을 근사화하는 컴팩트하고 확장 가능한 입구 정책을 설계하기 위해.
• 입구 정책와 교체 정책를 분리하여 각각을 별도로 최적화할 수 있도록 하기 위해.
• 다양한 캐시 크기와 접근 분포에서 합성 및 실세계 워크로드를 대상으로 TinyLFU와 W-TinyLFU의 효과를 평가하기 위해.
• 근사 오차(거짓 양성, 절단, 샘플링)가 실세계 환경에서 캐시 히트 비율에 미치는 영향을 정량화하기 위해.

제안 방법

• TinyLFU는 최근에 접근된 항목의 큰 샘플에 대한 접근 빈도 수를 근사적으로 유지하기 위해 counting Bloom filter를 사용하여 저메모리 빈도 추정을 가능하게 한다.
• 입구 정책는 새로운 항목이 현재 캐시의 교체 대상과 비교하여 추정된 빈도가 높은지 여부에 따라 교체 여부를 평가한다.
• W-TinyLFU는 메인 캐시와 윈도우드 캐시(W)를 결합하고, TinyLFU를 사용하여 입구 결정을 이끌어내어 자주 접근되는 항목을 우선순위로 지정함으로써 히트 비율을 향상시킨다.
• 시스템은 메모리 사용량을 줄이기 위해 리셋 동안 정수 카운터의 절단을 적용하며, 정확도에 미치는 영향을 분석하기 위해 오차 분석을 수행한다.
• 근사 오차는 counting Bloom filter의 거짓 양성으로 분석되며, 샘플링 및 절단 오차는 정적 Zipf 분포 하에서 측정된다.
• Caffeine에서의 구현은 항목당 8바이트(샘플당 0.8바이트)를 사용하는 CM-Sketch를 사용하며, 샘플 크기와 카운터 정밀도 조정을 통해 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 경량이고 근사적인 빈도 기반 입구 정책가 높은 메타데이터 비용 없이도 캐시 히트 비율을 크게 향상시킬 수 있는가?
• RQ2 기존 교체 정책과 TinyLFU를 통합할 경우 다양한 워크로드에서 성능에 어떤 영향을 미치는가?
• RQ3 캐시 입구 정책의 빈도 추정에서 메모리 효율성과 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 거짓 양성, 절단, 샘플링 오차가 실세계 트레이스에서 TinyLFU의 히트 비율에 종합적으로 어떤 영향을 미치는가?
• RQ5 W-TinyLFU는 다양한 실세계 및 합성 워크로드에서 최신 기술 수준의 교체 정책을 일관되게 능가할 수 있는가?

주요 결과

• W-TinyLFU는 모든 테스트된 실세계 트레이스(Oltp, F1, F2)에서 다른 최신 기술 수준의 교체 정책보다 동일하거나 더 높은 히트 비율을 달성한다.
• W-TinyLFU의 히트 비율은 OLTP, F1, F2 트레이스에서 윈도우 캐시 크기가 메인 캐시 크기의 약 20~40%일 때 최대가 된다.
• TinyLFU의 근사 오차—counting Bloom filter의 거짓 양성으로 인한 오차—는 샘플 항목당 약 1.25바이트를 초과할 경우에만 유의미하게 나타나며, 그 이하에서는 영향이 거의 없다.
• 절단 오차는 작은 샘플(예: 9,000개 항목)에서는 더 두드러지지만, 더 큰 샘플(예: 17,000개 항목)에서는 특히 카운터 정밀도가 높을수록 무시할 수 있을 정도로 줄어든다.
• Caffeine에서 메타데이터 할당량을 항목당 8바이트에서 16바이트로 늘릴 경우 히트 비율이 약 0.5% 향상되며, 이는 기본 설정에서 약 0.5%의 근사 오차가 있음을 시사한다.
• TinyLFU의 설계는 입구 정책와 교체 정책를 분리하여 모듈화된 최적화를 가능하게 하며, 메타데이터 오버헤드가 최소일지라도 입구 정책가 성능 향상에 상당한 기여를 할 수 있음을 입증한다.