[論文レビュー] Cache Replacement Algorithm

Sarwan Ali|arXiv (Cornell University)|Jul 30, 2021

Caching and Content Delivery参考文献 5被引用数 5

ひとこと要約

この論文は、未来のメモリアクセスを予測し、キャッシュミス率を低下させるために、ベイジアンネットワークを含む確率的グラフィカルモデル（PGM）を活用する新規キャッシュ置換アルゴリズムを提案する。PGMに基づく予測によって誘導される事前削除および事前フェッチ戦略を統合することで、キャッシュサイズを増大させず、かつ過度なオーバーヘッドを発生させることなく、古典的手法よりも7%高いキャッシュヒット率を達成した。

ABSTRACT

Cache replacement algorithms are used to optimize the time taken by processor to process the information by storing the information needed by processor at that time and possibly in future so that if processor needs that information, it can be provided immediately. There are a number of techniques (LIFO, FIFO, LRU, MRU, Hybrid) used to organize information in such a way that processor remains busy almost all the time. But there are some limitations of every technique. We tried to overcome those limitations. We used Probabilistic Graphical Model(PGM), which gives conditional dependency between random variables using directed or undirected graph. In our research, we exploited the Bayesian network technique to predict the future request by processor. The main goal of the research was to increase the cache hit rate but not by increasing the size of cache and also reducing or maintaining the overhead. We achieved 7% more cache hits in best case scenario than those classical algorithms by using PGM technique. This proves the success of our technique as far as cache hits are concerned. Also, pre-eviction proves to be a better technique to get more cache hits. Combining both pre-eviction and pre-fetching using PGM gives us the results which were intended to achieve as the sole purpose of this research.

研究の動機と目的

• LRU、FIFO、MRUといった従来のキャッシュ置換アルゴリズムが、将来のメモリアクセスパターンを予測する点で抱える制限を是正すること。
• キャッシュサイズを増大させず、実行時オーバーヘッドを最小限に抑えることを目指して、キャッシュヒット率を向上させること。
• 確率的モデリングを活用して、メモリアクセスパターンにおける条件付き依存関係を捉え、より優れた予測を実現すること。
• 予測モデリングによって誘導される事前削除および事前フェッチメカニズムを統合し、パフォーマンスを向上させること。
• さまざまなワークロード下での実世界のキャッシュ動作において、PGMベースの予測の有効性を検証すること。

提案手法

• 著者らは、メモリアクセスリクエスト間の条件付き依存関係をモデル化するために、ベイジアンネットワーク（PGMの一種）を採用した。
• PGMは、過去のアクセスパターンを学習することで、将来のキャッシュリクエストの確率を予測する。
• 予測された将来的なアクセス確率が低い場合に、事前削除が適用され、事前にメモリ領域を解放する。
• キャッシュ内に存在しないデータについて、PGMが将来的に高い需要が予測される場合に、事前フェッチがトリガーされる。
• 新しいアクセスパターンが観測されるたびに、ベイジアンネットワークモデルを動的に更新する。
• 予測精度と計算オーバーヘッドのバランスを保ち、実行時コストを低く維持する。

実験結果

リサーチクエスチョン

• RQ1 PGMベースのアプローチは、キャッシュサイズを増やさずに、古典的手法を上回るキャッシュヒット率を向上させることができるか？
• RQ2 予測モデリングによって誘導される事前削除は、キャッシュミスの削減にどの程度効果的か？
• RQ3 PGM予測を用いた事前フェッチと事前削除の統合によるパフォーマンス向上はどの程度か？
• RQ4 LRU、FIFO、MRUと比較して、PGMベースの手法はヒット率とオーバーヘッドの点でどのように差をつけるか？
• RQ5 ベイジアンネットワークは、リアルタイムキャッシュ管理における複雑なアクセスパターンを効果的にモデリングおよび予測できるか？

主な発見

• 提案されたPGMベースのキャッシュ置換アルゴリズムは、最良のシナリオにおいて、古典的手法よりも7%高いキャッシュヒット率を達成した。
• キャッシュサイズを増大させることなく、同じハードウェア制約を維持したまま、ヒット率の向上が達成された。
• キャッシュ汚染の削減において、従来の置換ポリシーに比べて、事前削除がより効果的であることが判明した。
• PGM予測に基づく事前フェッチと事前削除の統合により、顕著なパフォーマンス向上が得られた。
• 計算オーバーヘッドが低く抑えられ、プロセッサシステムにおけるリアルタイム導入が可能であることが実証された。
• ベイジアンネットワークモデルは、メモリアクセスパターンにおける時系列的および条件付き依存関係を効果的に捉えた。