[論文レビュー] An O(1) algorithm for implementing the LFU cache eviction scheme

Dhruv Mátáni, Ketan Shah+1 more|arXiv (Cornell University)|Oct 22, 2021

Caching and Content Delivery参考文献 6被引用数 16

ひとこと要約

この論文では、頻度レベル用の二重リンクリスト構造とキーに基づくアクセス用のハッシュテーブルを用いることで、LFU（Least Frequently Used）キャッシュの破棄戦略をO(1)で実装するアルゴリズムを提示している。本手法は、頻度ノードと要素セットを動的に管理することにより、挿入、参照、破棄のすべての操作を定数時間で維持し、すべての操作で最適なO(1)性能を達成する。

ABSTRACT

Cache eviction algorithms are used widely in operating systems, databases and other systems that use caches to speed up execution by caching data that is used by the application. There are many policies such as MRU (Most Recently Used), MFU (Most Frequently Used), LRU (Least Recently Used) and LFU (Least Frequently Used) which each have their advantages and drawbacks and are hence used in specific scenarios. By far, the most widely used algorithm is LRU, both for its $O(1)$ speed of operation as well as its close resemblance to the kind of behaviour that is expected by most applications. The LFU algorithm also has behaviour desirable by many real world workloads. However, in many places, the LRU algorithm is is preferred over the LFU algorithm because of its lower run time complexity of $O(1)$ versus $O(\log n)$. We present here an LFU cache eviction algorithm that has a runtime complexity of $O(1)$ for all of its operations, which include insertion, access and deletion(eviction).

研究の動機と目的

• ヒープを用いた頻度追跡によりO(log n)時間で動作する従来のLFUキャッシュに生じる性能ボトルネックを解消すること。
• すべてのLFU操作（挿入、参照、破棄）をO(1)時間で実行可能なデータ構造を設計すること。LRUと同等の効率を維持しながら、LFUの頻度に基づく破棄の性質を保つこと。
• ネットワークプロキシやデータベースなど、低遅延のキャッシュ操作が極めて重要な高スルーレートシステムへのLFUの実用的導入を可能にすること。
• 既存の実装で性能を低下させる頻度更新時のヒープ再構成の必要性を排除すること。

提案手法

• 各ノードが特定の頻度レベルを表し、その頻度を持つキーの集合を保持する、頻度ノードの双方向リンクリストを用いる。
• ハッシュテーブルにより各キーが対応するLFUアイテムにマッピングされ、そのアイテムは親の頻度ノードへの参照を保持する。
• アイテムがアクセスされた際、現在の頻度ノードから次の高い頻度ノードへ移動され、存在しない場合はオンデマンドで新規に作成される。
• 頻度リストは順序付けられて維持され、最も使用頻度が低いアイテムが先頭に位置するため、最小頻度ノードへのO(1)アクセスが可能になる。
• GET-NEW-NODEというヘルパー関数は、必要な場合にのみ既存のノードの間に新しい頻度ノードを挿入し、最小限のオーバーヘッドを確保する。
• DELETE-NODE関数は、関連する集合が空になった場合に頻度ノードをリストから削除し、リストの整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 すべてのコア操作（挿入、参照、破棄）をO(1)時間で実行可能なLFUキャッシュ破棄戦略を実装できるか？
• RQ2 ヒープや平衡木構造に依存せずに、頻度に基づく順序を維持することは可能か？
• RQ3 動的頻度ノードの生成とリスト操作をどのように設計すれば、定数時間のパフォーマンスを保証できるか？
• RQ4 どのデータ構造設計が、頻度レベル間でのアイテムの効率的移動を可能にし、O(1)の複雑さを維持するか？

主な発見

• 提案されたアルゴリズムは、すべてのLFU操作（挿入、参照、破棄）においてO(1)の時間計算量を達成する。
• オンデマンドでのノード生成を伴う頻度リンクリストの使用により、従来のヒープ再構成によるO(log n)のオーバーヘッドを排除する。
• ハッシュテーブルによりO(1)のキーに基づくアクセスが可能であり、頻度リストによりリストの先頭を介して最も使用頻度が低いアイテムへのO(1)アクセスが可能になる。
• 頻度ノードは必要に応じてのみ動的に維持されるため、メモリと計算のオーバーヘッドが削減される。
• ポインタの更新とリストの不変条件の維持を定数時間で行えるため、頻度レベル間でのアイテムの効率的移動が可能になる。