[論文レビュー] CIPARSim: cache intersection property assisted rapid single-pass FIFO cache simulation technique

Mohammad Shihabul Haque, Jorgen Peddersen+1 more|arXiv (Cornell University)|Nov 7, 2011

Parallel Computing and Optimization Techniques参考文献 28被引用数 10

ひとこと要約

CIPARSimは、FIFOリプレースポリシーを採用するキャッシュにおける新規キャッシュ特性である'インターセクションプロパティ'を導入した。この特性により、完全な検索を伴わずにキャッシュヒットを予測できる単一パスのシミュレーションが可能となり、高速化が実現される。3つのインターセクションプロパティを活用することで、最先端のシミュレータと比較して最大5倍（平均3倍）のシミュレーション時間短縮が達成され、平均で全体の90％のヒットを正確に予測できる。

ABSTRACT

An application's cache miss rate is used in timing analysis, system performance prediction and in deciding the best cache memory for an embedded system to meet tighter constraints. Single-pass simulation allows a designer to find the number of cache misses quickly and accurately on various cache memories. Such single-pass simulation systems have previously relied heavily on cache inclusion properties, which allowed rapid simulation of cache configurations for different applications. Thus far the only inclusion properties discovered were applicable to the Least Recently Used (LRU) replacement policy based caches. However, LRU based caches are rarely implemented in real life due to their circuit complexity at larger cache associativities. Embedded processors typically use a FIFO replacement policy in their caches instead, for which there are no full inclusion properties to exploit. In this paper, for the first time, we introduce a cache property called the “Intersection Property” that helps to reduce single-pass simulation time in a manner similar to inclusion property. An intersection property defines conditions that if met, prove a particular element exists in larger caches, thus avoiding further search time. We have discussed three such intersection properties for caches using the FIFO replacement policy in this paper. A rapid single-pass FIFO cache simulator “CIPARSim” has also been proposed. CIPARSim is the first single-pass simulator dependent on the FIFO cache properties to reduce simulation time significantly. CIPARSim's simulation time was up to 5 times faster (on average 3 times faster) compared to the state of the art single-pass FIFO cache simulator for the cache configurations tested. CIPARSim produces the cache hit and miss rates of an application accurately on various cache configurations. During simulation, CIPARSim's intersection properties alone predict up to 90% (on average 65%) of the total hits, reducing simulation time immensely.

研究の動機と目的

• FIFOベースのキャッシュにおいて、埋め込みシステムで一般的に用いられる効率的な単一パスシミュレーション手法の不足に対処すること。
• 包含関係に類似したキャッシュ特性を、FIFOリプレースポリシーに適用可能な形で同定・利用すること。
• キャッシュヒットおよびミス率推定の正確性を損なわず、シミュレーション時間を大幅に短縮すること。
• 実世界の埋め込みシステム設計に応用可能な実用的で高性能なシミュレータ（CIPARSim）を構築すること。

提案手法

• FIFOリプレースポリシーに適用可能な『インターセクションプロパティ』を導入——これは、より大きなキャッシュ内に要素が存在することを、より小さなネストされたキャッシュ内での存在に基づいて証明する条件である。
• FIFOリプレースポリシーを採用するキャッシュに適用可能な3つの具体的なインターセクションプロパティを定義し、早期ヒット予測を可能にする。
• キャッシュアクセス履歴を一度だけ処理する単一パスのシミュレーションフレームワークを設計し、インターセクションプロパティを用いて重複する検索を回避する。
• 実行時においてこれらのプロパティを適用することで、完全なキャッシュ検索を回避できる、高速かつ正確なシミュレータCIPARSimを実装する。
• インターセクションプロパティを活用してヒットを事前に予測する——最大90％のヒットが検索を伴わずに予測可能であり、シミュレーションのオーバーヘッドを低減する。
• さまざまなキャッシュ構成を効率的に処理できるようにシミュレータを最適化し、正しさを保ちつつ性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 FIFOリプレースポリシーに適用可能な包含関係に類似したキャッシュ特性を開発することは可能か？
• RQ2 FIFOキャッシュにおける正しいヒット予測を保証するため、インターセクションプロパティをどのように形式的に定義できるか？
• RQ3 インターセクションプロパティは、単一パスFIFOキャッシュシミュレーションにおいて、どの程度シミュレーション時間を短縮できるか？
• RQ4 これらのプロパティを活用して、既存の最先端シミュレータを上回る実用的シミュレータを構築することは可能か？

主な発見

• CIPARSimは、最先端の単一パスFIFOキャッシュシミュレータと比較して、最大5倍のシミュレーション時間短縮を達成した。
• テストされたキャッシュ構成の全般にわたり、平均してCIPARSimは既存のシミュレータの3倍の速度で動作した。
• インターセクションプロパティのみで、最悪ケースにおいても全体のヒットの90％を予測可能であり、平均では65％のヒットが検索なしに予測された。
• CIPARSimは、多様なキャッシュ構成においても、キャッシュヒットおよびミス率の報告において高い正確性を維持した。
• 提案されたインターセクションプロパティは、FIFOベースのキャッシュにおける包含関係に類似した最適化を可能にする最初のものであり、キャッシュシミュレーション分野における重要な空白を埋めた。