[논문 리뷰] Learning Forward Reuse Distance

Pengcheng Li, Yongbin Gu|arXiv (Cornell University)|2020. 07. 31.

Caching and Content Delivery참고 문헌 48인용 수 7

한 줄 요약

이 논문은 캐시 트레이스만을 사용하여 향후 재사용 거리를 예측하기 위해 다중-LSTM 모델을 활용하는 딥러닝 기반 접근법을 제안한다. 이는 새로운 의사 OPT 캐시 교체 정책을 가능하게 하며, 최신 실용적 정책 대비 최대 19.2% 향상된 성능을 보이고, 평균적으로 최적(OPT) 정책보다 2.3% 높은 미스 비율을 기록한다. 이는 13개의 실제 워크로드에 걸쳐 평가된 결과이다.

ABSTRACT

Caching techniques are widely used in the era of cloud computing from applications, such as Web caches to infrastructures, Memcached and memory caches in computer architectures. Prediction of cached data can greatly help improve cache management and performance. The recent advancement of deep learning techniques enables the design of novel intelligent cache replacement policies. In this work, we propose a learning-aided approach to predict future data accesses. We find that a powerful LSTM-based recurrent neural network model can provide high prediction accuracy based on only a cache trace as input. The high accuracy results from a carefully crafted locality-driven feature design. Inspired by the high prediction accuracy, we propose a pseudo OPT policy and evaluate it upon 13 real-world storage workloads from Microsoft Research. Results demonstrate that the new cache policy improves state-of-art practical policies by up to 19.2% and incurs only 2.3% higher miss ratio than OPT on average.

연구 동기 및 목표

• 기본적으로 캐시 트레이스만을 사용하여 캐싱 시스템 내 향후 데이터 접근 패턴을 예측하는 문제를 해결하기 위해.
• 캐시 트레이스의 국소성 정보를 활용하여 향후 재사용 거리를 정확히 예측할 수 있는 기계학습 모델을 설계하기 위해.
• 미래 접근 정보를 알지 못해도 되는 실용적인, 학습 기반 캐시 교체 정책을 개발하여 최적(OPT) 정책에 가까운 성능을 달성하기 위해.
• 다양하고 실제 저장 워크로드에서 제안된 방법의 일반화 능력과 성능 향상을 검증하기 위해 평가를 수행하기 위해.

제안 방법

• 캐시 트레이스의 순차적 접근 패턴을 모델링하기 위해 다중-LSTM 순환 신경망 아키텍처를 사용하여 향후 재사용 거리 예측을 수행한다.
• 주소 간격과 K-means를 통한 클러스터링을 포함한 국소성 기반 특징을 통합하여 모델의 일반화 능력과 정확도를 향상시킨다.
• 학습 중 데이터 주소 간격에 대해 K-means 클러스터링을 적용하여 반복적인 접근 패턴을 더 잘 포착하고 예측 정밀도를 향상시킨다.
• 예측된 향후 재사용 거리가 가장 긴 항목을 교체하는 방식으로, 예측된 향후 재사용 거리를 기반으로 한 의사 OPT 캐시 교체 정책을 설계한다.
• 프로그램 카운터나 외부 메타데이터가 필요 없이 캐시 트레이스에서 끝에서 끝까지 모델을 훈련시켜 웹 캐시 및 기타 시스템에 광범위하게 적용 가능하도록 한다.
• 오프라인 트레이스 기반 시뮬레이션을 통해 13개의 마이크로소프트 저장 워크로드에서 정책의 미스 비율과 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 프로그램 카운터나 외부 메타데이터 없이 캐시 트레이스만을 입력으로 사용하여 딥러닝 모델이 향후 재사용 거리를 정확히 예측할 수 있는가?
• RQ2 국소성 기반 특징 공학 기법이 캐시 워크로드에서 향후 재사용 거리 예측 정확도 향상에 얼마나 효과적인가?
• RQ3 학습된 향후 재사용 거리 예측이 실용적인 캐시 교체 정책이 최적(OPT) 정책 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ4 제안된 의사 OPT 정책은 다양한 실제 워크로드에서 기존 최신 실용적 캐시 교체 정책과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 LSTM 기반 모델은 프로그램 카운터나 외부 특징 없이도 캐시 트레이스만으로도 향후 재사용 거리를 높은 정확도로 예측한다.
• 주소 간격에 대한 K-means 클러스터링 통합이 반복적인 접근 패턴을 포착함으로써 예측 정확도를 크게 향상시킨다.
• 결과적으로 도출된 의사 OPT 캐시 교체 정책은 세 가지 최신 실용적 정책보다 캐시 히트율 기준 최대 19.2% 향상된다.
• 13개의 실제 워크로드에 걸쳐 평균적으로 최적(OPT) 정책보다 2.3% 높은 미스 비율을 기록한다.
• 다양한 접근 패턴에 걸쳐 광범위한 적용 가능성을 입증하기 위해 마이크로소프트 저장 트레이스의 넓은 범위에서 검증되었다.
• 결과는 딥러닝이 역사적 접근 시퀀스만을 기반으로 하여 캐싱 시스템 내 향후 접근 행동을 효과적으로 모델링하고 예측할 수 있음을 확인한다.