[논문 리뷰] CIPARSim: cache intersection property assisted rapid single-pass FIFO cache simulation technique

Mohammad Shihabul Haque, Jorgen Peddersen외 1명|arXiv (Cornell University)|2011. 11. 07.

Parallel Computing and Optimization Techniques참고 문헌 28인용 수 10

한 줄 요약

CIPARSim는 FIFO 교체 정책 캐시를 위한 새로운 캐시 성질인 '교차 성질(Intersection Property)'을 도입하여, 전체 검색 없이도 캐시 히트를 예측함으로써 단일 패assing 시뮬레이션을 빠르게 수행할 수 있도록 한다. 세 가지 교차 성질을 활용함으로써, 최신 기술 대비 최대 5배(평균 3배) 빠른 시뮬레이션 시간을 달성하며, 평균적으로 총 히트의 약 90%를 정확하게 예측한다.

ABSTRACT

An application's cache miss rate is used in timing analysis, system performance prediction and in deciding the best cache memory for an embedded system to meet tighter constraints. Single-pass simulation allows a designer to find the number of cache misses quickly and accurately on various cache memories. Such single-pass simulation systems have previously relied heavily on cache inclusion properties, which allowed rapid simulation of cache configurations for different applications. Thus far the only inclusion properties discovered were applicable to the Least Recently Used (LRU) replacement policy based caches. However, LRU based caches are rarely implemented in real life due to their circuit complexity at larger cache associativities. Embedded processors typically use a FIFO replacement policy in their caches instead, for which there are no full inclusion properties to exploit. In this paper, for the first time, we introduce a cache property called the “Intersection Property” that helps to reduce single-pass simulation time in a manner similar to inclusion property. An intersection property defines conditions that if met, prove a particular element exists in larger caches, thus avoiding further search time. We have discussed three such intersection properties for caches using the FIFO replacement policy in this paper. A rapid single-pass FIFO cache simulator “CIPARSim” has also been proposed. CIPARSim is the first single-pass simulator dependent on the FIFO cache properties to reduce simulation time significantly. CIPARSim's simulation time was up to 5 times faster (on average 3 times faster) compared to the state of the art single-pass FIFO cache simulator for the cache configurations tested. CIPARSim produces the cache hit and miss rates of an application accurately on various cache configurations. During simulation, CIPARSim's intersection properties alone predict up to 90% (on average 65%) of the total hits, reducing simulation time immensely.

연구 동기 및 목표

• 임베디드 시스템에서 흔히 사용되는 FIFO 기반 캐시에 대한 효율적인 단일 패assing 시뮬레이션 기법의 부족을 해결하기 위해.
• 포함성 성질과 유사한 캐시 성질을 식별하고, FIFO 교체 정책에 적용 가능한 성질을 탐색하기 위해.
• 캐시 히트 및 미스 비율 추정의 정확도를 훼손하지 않으면서도 시뮬레이션 시간을 크게 단축하기 위해.
• 실제 임베디드 시스템 설계에 활용 가능한 실용적이고 고성능 시뮬레이터(CIPARSim)를 개발하기 위해.

제안 방법

• FIFO 교체 정책 캐시에 적용 가능한 '교차 성질'을 도입—더 큰 캐시에 원소가 존재하는지 확인하기 위해 검색을 수행하지 않고, 더 작은 내재 캐시들에 존재하는지 여부에 기반한다.
• FIFO 교체 정책 캐시에 적용 가능한 세 가지 구체적 교차 성질을 정의하여 조기 히트 예측을 가능하게 한다.
• 캐시 액세스 이력이 한 번만 처리되는 단일 패assing 시뮬레이션 프레임워크를 설계하며, 교차 성질을 활용해 중복 검색을 생략한다.
• 실행 중에 이러한 성질을 적용하여 전체 캐시 검색을 피하는 고속 정확한 시뮬레이터인 CIPARSim을 구현한다.
• 교차 성질을 활용해 캐시 히트를 사전 예측한다: 최대 90%의 히트가 검색 없이 예측되며, 이로 인해 시뮬레이션 오버헤드가 감소한다.
• 다양한 캐시 구성에 대해 효율적으로 대응할 수 있도록 시뮬레이터를 최적화하여 정확성을 유지하면서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 FIFO 교체 정책에 대해 포함성과 유사한 캐시 성질을 개발하여 시뮬레이션 속도를 향상시킬 수 있는가?
• RQ2 교차 성질을 어떻게 형식적으로 정의할 수 있을까? 이를 통해 FIFO 캐시에서 정확한 히트 예측을 보장할 수 있는가?
• RQ3 교차 성질을 통해 단일 패assing FIFO 캐시 시뮬레이션에서 시뮬레이션 시간을 얼마나 줄일 수 있는가?
• RQ4 이러한 성질을 기반으로 기존 최신 기술 대비 뛰어난 성능을 보이는 실용적 시뮬레이터를 구축할 수 있는가?

주요 결과

• CIPARSim는 최신 기술의 단일 패assing FIFO 캐시 시뮬레이터 대비 최대 5배 빠른 시뮬레이션 시간을 달성한다.
• 시험된 다양한 캐시 구성에서 평균적으로 CIPARSim은 기존 시뮬레이터보다 3배 빠르게 동작한다.
• 교차 성질만으로도 최악의 경우 총 캐시 히트의 약 90%를 예측할 수 있으며, 평균적으로는 검색 없이도 65%의 히트를 예측한다.
• CIPARSim는 다양한 캐시 구성에서 캐시 히트 및 미스 비율을 높은 정확도로 보고한다.
• 제안된 교차 성질은 FIFO 기반 캐시에 대해 포함성 유사 최적화를 가능하게 하는 최초의 성질로, 캐시 시뮬레이션 분야의 핵심적 격차를 메운다.