[论文解读] Lower Bounds for Caching with Delayed Hits

Peter Manohar, Jalani Williams|arXiv (Cornell University)|May 30, 2020

Optimization and Search Problems参考文献 6被引用 5

一句话总结

本论文为延迟命中缓存——一种请求在数据仍在传输过程中到达的模型——建立了基本的理论极限。它证明了确定性在线算法的竞争比下界为 Ω(kZ)，并表明标准延迟命中延迟不具有反单调性；此外，提出了一个修改后的模型，通过始终将请求转发到后备存储（即使命中），恢复了反单调性。

ABSTRACT

Caches are a fundamental component of latency-sensitive computer systems. Recent work of [ASWB20] has initiated the study of delayed hits: a phenomenon in caches that occurs when the latency between the cache and backing store is much larger than the time between new requests. We present two results for the delayed hits caching model. (1) Competitive ratio lower bound. We prove that the competitive ratio of the algorithm in [ASWB20], and more generally of any deterministic online algorithm for delayed hits, is at least Omega(kZ), where k is the cache size and Z is the delay parameter. (2) Antimonotonicity of the delayed hits latency. Antimonotonicity is a naturally desirable property of cache latency: having a cache hit instead of a cache miss should result in lower overall latency. We prove that the latency of the delayed hits model is not antimonotone by exhibiting a scenario where having a cache hit instead of a miss results in an increase in overall latency. We additionally present a modification of the delayed hits model that makes the latency antimonotone.

研究动机与目标

• 理解在线缓存算法在延迟命中模型中的理论性能极限，其中请求可能在数据获取过程中到达。
• 分析延迟命中模型中的延迟是否满足直观的反单调性属性——即缓存命中不应增加延迟。
• 为延迟命中现象提供正式的理论基础，该现象显著影响实际系统延迟，但此前缺乏理论分析。
• 提出一种修改后的延迟命中模型，以恢复反单调性，确保缓存命中不会恶化整体延迟。

提出的方法

• 构造一个确定性请求序列，使得任何在线算法都会产生 kZ 次未命中，而最优离线算法仅产生一次未命中，从而证明 Ω(kZ) 的竞争比下界。
• 为延迟命中模型定义延迟函数 ℓσ(b₁,…,bₜ)，其中 bᵢ = 1 表示延迟命中，并证明该函数不具有反单调性。
• 引入一个修改后的模型，其中每个请求无论缓存状态如何都会被发送到后备存储，确保在最近 Z 个时间单位内请求的任何项目均可立即提供服务。
• 定义一个新的延迟函数 ℓ′σ(b₁,…,bₜ)，其仅依赖于请求时间和项目标识，而不依赖于命中/未命中状态，以消除破坏反单调性的依赖关系。
• 通过证明增加命中次数（即 b′ ≥ b）不会增加总延迟，证明修改后的延迟函数 ℓ′σ 具有反单调性。
• 构建原始模型中任意算法在反单调模型中的模拟，使用更大的缓存，表明反单调模型中的性能不会劣于原始模型。

实验结果

研究问题

• RQ1 任何确定性在线算法在延迟命中缓存模型中可实现的最佳竞争比是多少？
• RQ2 延迟命中模型中的延迟是否满足直观的反单调性属性——即缓存命中是否总是减少或保持延迟不变？
• RQ3 能否通过修改延迟命中模型来恢复反单调性，同时保持延迟命中的实际行为特征？
• RQ4 反单调延迟命中模型中算法的性能与原始延迟命中模型中的性能有何关系？
• RQ5 在原始延迟命中模型中，模拟为反单调延迟命中模型设计的算法所需的最小缓存大小是多少？

主要发现

• 任何确定性在线算法在延迟命中问题中的竞争比至少为 Ω(kZ)，其中 k 为缓存大小，Z 为获取延迟。
• 标准延迟命中模型中的延迟函数不具有反单调性，如一个场景所示：缓存命中可能导致比未命中更高的整体延迟。
• 论文构造了一个反例，表明由于对在途请求的依赖，请求序列可能导致命中时的总延迟高于未命中时。
• 提出了一种修改后的延迟命中模型，其中每个请求无论缓存状态如何都会被发送到后备存储，确保延迟函数具有反单调性。
• 证明了修改后模型的延迟函数 ℓ′σ 具有反单调性，因为增加命中次数（b′ ≥ b）不会增加总延迟。
• 任何在反单调延迟命中模型中的算法均可通过使用大小至多为 k + Z 的缓存，在原始模型中被模拟，表明反单调模型在性能上并不更强。