[論文レビュー] Lower Bounds for Caching with Delayed Hits

Peter Manohar, Jalani Williams|arXiv (Cornell University)|May 30, 2020

Optimization and Search Problems参考文献 6被引用数 5

ひとこと要約

この論文は、データのフェッチ中にもリクエストが到着する可能性がある『遅延ヒット』というモデルにおけるキャッシュの根本的理論的限界を確立する。決定的オンラインアルゴリズムのための競合比の下界が Ω(kZ) であることを証明し、標準的な遅延ヒットの遅延は反単調でないことを示す。さらに、ヒット時でさえも常にバックアップストアにリクエストを転送するように変更したモデルを提案し、これにより反単調性が回復されることを示す。

ABSTRACT

Caches are a fundamental component of latency-sensitive computer systems. Recent work of [ASWB20] has initiated the study of delayed hits: a phenomenon in caches that occurs when the latency between the cache and backing store is much larger than the time between new requests. We present two results for the delayed hits caching model. (1) Competitive ratio lower bound. We prove that the competitive ratio of the algorithm in [ASWB20], and more generally of any deterministic online algorithm for delayed hits, is at least Omega(kZ), where k is the cache size and Z is the delay parameter. (2) Antimonotonicity of the delayed hits latency. Antimonotonicity is a naturally desirable property of cache latency: having a cache hit instead of a cache miss should result in lower overall latency. We prove that the latency of the delayed hits model is not antimonotone by exhibiting a scenario where having a cache hit instead of a miss results in an increase in overall latency. We additionally present a modification of the delayed hits model that makes the latency antimonotone.

研究の動機と目的

• データフェッチ中にもリクエストが到着する可能性がある『遅延ヒット』モデルにおけるオンラインキャッシュアルゴリズムの理論的性能限界を理解すること。
• 遅延ヒットモデルの遅延が直感的な性質・反単調性（キャッシュヒットが遅延を増加させない）を満たすかどうかを分析すること。
• 実世界のシステム遅延に顕著な影響を与えるが、これまで理論的分析が不足していた『遅延ヒット』現象の形式的理論的基盤を提供すること。
• キャッシュヒットが全体の遅延を悪化させないよう保証する、反単調性を回復する修正版の遅延ヒットモデルを提案すること。

提案手法

• 任意のオンラインアルゴリズムが kZ 回のミスを引き起こすが、最適なオフラインアルゴリズムはたった1回のミスで済むような決定的リクエスト列を構築し、Ω(kZ) の競合比下界を証明する。
• 遅延ヒットモデルにおける遅延関数 ℓσ(b₁,…,bₜ) を定義し、bᵢ = 1 が遅延ヒットを示すものとする。この関数が反単調でないことを示す。
• すべてのリクエストがキャッシュ状態に関わらずバックアップストアに送信されるように変更したモデルを導入し、直近 Z 時間内にリクエストされたアイテムが即座に提供可能になるように保証する。
• リクエストの時刻とアイテムの識別子にのみ依存する新しい遅延関数 ℓ′σ(b₁,…,bₜ) を定義し、ヒット/ミス状態に依存しないようにすることで、反単調性を破る要因を排除する。
• 新しい遅延関数 ℓ′σ が反単調であることを証明する。具体的には、ヒット数を増加させること（b′ ≥ b）が総遅延を増加させないことを示す。
• 任意のアルゴリズムを、元のモデルにおけるより大きなキャッシュを用いて、反単調モデルでシミュレートできることを示し、反単調モデルの性能が元のモデルより悪くはならないことを示す。

実験結果

リサーチクエスチョン

• RQ1 決定的オンラインアルゴリズムが遅延ヒットキャッシュ問題において達成可能な最良の競合比は何か？
• RQ2 遅延ヒットモデルにおける遅延は、直感的な性質・反単調性（キャッシュヒットが遅延を増加させない）を満たすか？
• RQ3 遅延ヒットの修正版モデルは、実用的な遅延ヒットの挙動を保ちつつ、反単調性を回復できるか？
• RQ4 反単調遅延ヒットモデルにおけるアルゴリズムの性能は、元の遅延ヒットモデルにおける性能とどのように関係するか？
• RQ5 反単調遅延ヒットモデル用に設計されたアルゴリズムを、元の遅延ヒットモデル内でシミュレートするために必要な最小キャッシュサイズは何か？

主な発見

• 任意の決定的オンラインアルゴリズムの遅延ヒット問題における競合比は、k がキャッシュサイズで Z がフェッチ遅延であるとき、少なくとも Ω(kZ) である。
• 標準的な遅延ヒットモデルにおける遅延関数は反単調でない。これは、ある状況でキャッシュヒットがミスよりも高い全体の遅延を引き起こす可能性があることから明らかである。
• 本論文は、進行中のリクエストに依存するため、ヒット時にミスよりも高い総遅延が生じるリクエスト列の反例を構築している。
• すべてのリクエストがキャッシュ状態に関わらずバックアップストアに送信されるように変更した遅延ヒットモデルを提案し、これにより遅延関数が反単調になることを保証する。
• 修正モデルの遅延関数 ℓ′σ が反単調であることが証明されている。具体的には、ヒット数を増加させること（b′ ≥ b）が総遅延を増加させない。
• 反単調遅延ヒットモデルにおける任意のアルゴリズムは、元のモデルでキャッシュサイズが k + Z 以下でシミュレート可能であり、反単調モデルの性能が元のモデルより優れているとは限らない。