[논문 리뷰] Lower Bounds for Caching with Delayed Hits

Peter Manohar, Jalani Williams|arXiv (Cornell University)|2020. 05. 30.

Optimization and Search Problems참고 문헌 6인용 수 5

한 줄 요약

이 논문은 데이터가 아직 가져오기 중일 때 요청이 도착할 수 있는 '지연 히트'라는 모델에서 캐싱의 기본 이론적 한계를 설정한다. 이는 부분 히트를 초래할 수 있다. 논문은 결정론적 온라인 알고리즘에 대해 경쟁 비율의 하한을 Ω(kZ)로 증명하고, 표준 지연 히트 지연 시간이 반단조적이지 않음을 보이며, 항상 백업 스토어에 요청을 전달함으로써 반단조성을 복원하는 수정된 모델을 제안한다.

ABSTRACT

Caches are a fundamental component of latency-sensitive computer systems. Recent work of [ASWB20] has initiated the study of delayed hits: a phenomenon in caches that occurs when the latency between the cache and backing store is much larger than the time between new requests. We present two results for the delayed hits caching model. (1) Competitive ratio lower bound. We prove that the competitive ratio of the algorithm in [ASWB20], and more generally of any deterministic online algorithm for delayed hits, is at least Omega(kZ), where k is the cache size and Z is the delay parameter. (2) Antimonotonicity of the delayed hits latency. Antimonotonicity is a naturally desirable property of cache latency: having a cache hit instead of a cache miss should result in lower overall latency. We prove that the latency of the delayed hits model is not antimonotone by exhibiting a scenario where having a cache hit instead of a miss results in an increase in overall latency. We additionally present a modification of the delayed hits model that makes the latency antimonotone.

연구 동기 및 목표

• 요청이 데이터를 가져오는 동안 도착할 수 있는 지연 히트 모델에서 온라인 캐싱 알고리즘의 이론적 성능 한계를 이해하기 위해.
• 지연 히트 모델의 지연 시간이 직관적인 성질인 반단조성(캐시 히트가 지연 시간을 증가시켜서는 안 됨)을 만족하는지 분석하기 위해.
• 실제 시스템 지연 시간에 상당한 영향을 미치지만 이전에 이론적 분석이 부족했던 지연 히트 현상에 대한 공식적인 이론적 기초를 제공하기 위해.
• 캐시 히트가 전체 지연 시간을 악화시키지 않도록 보장하는 수정된 지연 히트 모델을 제안하기 위해.

제안 방법

• 모든 온라인 알고리즘이 kZ회의 미스를 겪는 결정론적 요청 시퀀스를 구성하여, 최적의 오프라인 알고리즘이 오직 한 번의 미스만 겪는다는 점을 이용해 Ω(kZ)의 경쟁 비율 하한을 증명한다.
• 지연 히트 모델의 지연 시간 함수 ℓσ(b₁,…,bₜ)를 정의하며, 여기서 bᵢ = 1은 지연 히트를 의미하고, 이 함수가 반단조적이지 않음을 보인다.
• 모든 요청이 캐시 상태에 관계없이 항상 백업 스토어로 전달되는 수정된 모델을 도입하여, 최근 Z 시간 단위 이내에 요청된 항목이 즉시 제공될 수 있음을 보장한다.
• 지연 시간 함수 ℓ′σ(b₁,…,bₜ)를 새로운 방식으로 정의하여, 요청 시간과 항목 식별자에만 의존하고 히트/미스 상태에 따라 달라지지 않도록 하여 반단조성을 깨는 요소를 제거한다.
• 수정된 지연 시간 함수 ℓ′σ가 반단조임을 증명하기 위해, 히트 수를 늘릴 경우(즉, b′ ≥ b) 총 지연 시간이 증가하지 않음을 보인다.
• 원래 모델에서 더 큰 캐시를 사용하여 반단조성 모델의 어떤 알고리즘도 시뮬레이션할 수 있음을 보이며, 반단조성 모델의 성능이 원래 모델보다 열등하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 지연 히트 캐싱 모델에서 어떤 결정론적 온라인 알고리즘도 달성할 수 있는 최고의 경쟁 비율은 무엇인가?
• RQ2 지연 히트 모델의 지연 시간은 직관적인 성질인 반단조성(즉, 캐시 히트가 항상 지연 시간을 감소시키거나 유지해야 함)을 만족하는가?
• RQ3 지연 히트의 실용적 행동을 유지하면서 반단조성을 복원할 수 있는 수정된 지연 히트 모델을 만들 수 있는가?
• RQ4 반단조성 지연 히트 모델에서 알고리즘의 성능은 원래 지연 히트 모델과 어떻게 관련이 있는가?
• RQ5 반단조성 지연 히트 모델을 위한 알고리즘을 원래 지연 히트 모델 내에서 시뮬레이션하기 위해 필요한 최소 캐시 크기는 얼마인가?

주요 결과

• 지연 히트 문제에 대한 모든 결정론적 온라인 알고리즘의 경쟁 비율은 k(캐시 크기)와 Z(가져오기 지연 시간)의 곱에 대해 Ω(kZ) 이상이어야 한다.
• 표준 지연 히트 모델의 지연 시간 함수는 반단조적이지 않으며, 요청이 도착하는 도중에 처리 중인 요청에 의존하는 상황에서 캐시 히트가 미스보다 더 높은 총 지연 시간을 초래할 수 있음을 보여주는 사례로 입증된다.
• 논문은 지연 시간이 히트 발생 시에 미스 발생 시보다 더 높을 수 있음을 보여주는 반례를 구성한다. 이는 처리 중인 요청에 대한 의존성 때문이며, 이는 지연 히트의 본질적 특성이다.
• 모든 요청이 캐시 상태에 관계없이 항상 백업 스토어로 전달되는 수정된 지연 히트 모델을 제안하며, 이로 인해 지연 시간 함수가 반단조성이 된다.
• 수정된 모델의 지연 시간 함수 ℓ′σ는 반단조임을 증명하였으며, 히트 수를 늘릴 경우(즉, b′ ≥ b) 총 지연 시간이 증가하지 않음을 보였다.
• 반단조성 지연 히트 모델 내의 어떤 알고리즘도 원래 모델에서 최대 k + Z 크기의 캐시를 사용하여 시뮬레이션할 수 있으며, 이는 반단조성 모델이 성능 측면에서 원래 모델보다 더 강력하지 않음을 보여준다.