[논문 리뷰] Cache Replacement Algorithm

Sarwan Ali|arXiv (Cornell University)|2021. 07. 30.

Caching and Content Delivery참고 문헌 5인용 수 5

한 줄 요약

이 논문은 미래 메모리 요청을 예측하고 캐시 히트율을 햖을 수 있도록 확률적 그래픽 모델(PGM), 특히 베이지안 네트워크를 활용하는 새로운 캐시 교체 알고리즘을 제안한다. PGM 기반 예측에 의해 이끌리는 사전 제거 및 사전 검색 전략을 통합함으로써, 캐시 크기를 늘리지 않거나 과도한 오버헤드를 유발하지 않고도 기존 알고리즘보다 7% 높은 캐시 히트율을 달성한다.

ABSTRACT

Cache replacement algorithms are used to optimize the time taken by processor to process the information by storing the information needed by processor at that time and possibly in future so that if processor needs that information, it can be provided immediately. There are a number of techniques (LIFO, FIFO, LRU, MRU, Hybrid) used to organize information in such a way that processor remains busy almost all the time. But there are some limitations of every technique. We tried to overcome those limitations. We used Probabilistic Graphical Model(PGM), which gives conditional dependency between random variables using directed or undirected graph. In our research, we exploited the Bayesian network technique to predict the future request by processor. The main goal of the research was to increase the cache hit rate but not by increasing the size of cache and also reducing or maintaining the overhead. We achieved 7% more cache hits in best case scenario than those classical algorithms by using PGM technique. This proves the success of our technique as far as cache hits are concerned. Also, pre-eviction proves to be a better technique to get more cache hits. Combining both pre-eviction and pre-fetching using PGM gives us the results which were intended to achieve as the sole purpose of this research.

연구 동기 및 목표

• LRU, FIFO, MRU와 같은 전통적인 캐시 교체 알고리즘의 미래 메모리 액세스 패턴 예측 능력에 한계가 있음을 해결하기 위해.
• 캐시 크기를 늘리지 않고도 캐시 히트율을 향상시키며, 런타임 오버헤드를 최소화하는 데 초점을 맞추기 위해.
• 확률적 모델링을 활용해 메모리 액세스 패턴의 조건부 의존성을 포착하여 더 나은 예측을 가능하게 하기 위해.
• 예측 모델에 의해 이끄는 사전 제거 및 사전 검색 메커니즘을 통합하여 성능을 향상시키기 위해.
• 다양한 워크로드 하에서 실제 캐시 동작에서 PGM 기반 예측의 효과성을 검증하기 위해.

제안 방법

• 저자는 메모리 액세스 요청 간의 조건부 의존성을 모델링하기 위해 베이지안 네트워크(확률적 그래픽 모델(PGM)의 일종)를 사용한다.
• PGM는 이전 액세스 패턴을 기반으로 향후 캐시 요청의 가능성을 예측하기 위해 훈련된다.
• 예측된 향후 액세스 확률이 낮을 경우 사전 제거가 적용되어 사전에 공간을 확보한다.
• 캐시에 현재 존재하지 않는 데이터에 대해 PGM가 높은 향후 수요를 예측할 경우 사전 검색이 트리거된다.
• 새로운 액세스 패턴이 관찰될 때마다 베이지안 네트워크 모델이 동적으로 업데이트된다.
• 예측 정확도와 계산 오버헤드 사이의 균형을 유지하여 런타임 비용을 낮게 유지한다.

실험 결과

연구 질문

• RQ1 PGM 기반 접근 방식이 캐시 크기를 늘리지 않고도 기존 알고리즘을 초월해 캐시 히트율을 향상시킬 수 있는가?
• RQ2 예측 모델에 의해 이끄는 사전 제거가 캐시 미스를 줄이는 데 얼마나 효과적인가?
• RQ3 PGM 예측을 사용한 사전 검색과 사전 제거를 결합했을 때의 성능 향상은 어떠한가?
• RQ4 PGM 기반 방법이 LRU, FIFO, MRU와 비교해 히트율과 오버헤드 측면에서 어떻게 성능을 내는가?
• RQ5 베이지안 네트워크가 실시간 캐시 관리에서 복잡한 액세스 패턴을 효과적으로 모델링하고 예측할 수 있는가?

주요 결과

• 제안된 PGM 기반 캐시 교체 알고리즘이 기존 알고리즘보다 최고의 경우 7% 높은 캐시 히트율을 달성했다.
• 캐시 크기를 늘리지 않아도 성능 향상을 달성했으며, 동일한 하드웨어 제약 조건을 유지했다.
• 캐시 오염을 줄이는 데 있어 사전 제거가 기존의 교체 정책보다 더 효과적인 것으로 밝혀졌다.
• PGM 예측을 활용한 사전 검색과 사전 제거의 통합이 뚜렷한 성능 향상을 이끌었다.
• 알고리즘은 낮은 계산 오버헤드를 유지하여 프로세서 시스템에서 실시간 구현에 실현 가능함을 입증했다.
• 베이지안 네트워크 모델이 메모리 액세스 패턴의 시간적 및 조건부 의존성을 성공적으로 포착했다.