[논문 리뷰] An Imitation Learning Approach for Cache Replacement

Evan Liu, Milad Hashemi외 3명|arXiv (Cornell University)|2020. 06. 29.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 과거 액세스 패턴만을 사용하여 벨라디의 최적 오라클 정책을 모방하는 캐시 교체 정책을 학습하는 이민터닝 러닝 접근법인 Parrot를 제안한다. 신경망을 활용한 지도형 이민터닝 러닝을 통해 Parrot는 SPEC CPU 워크로드에서 최신 히우리스틱보다 20% 낮은 미스 비율을 달성하고, 대규모 웹 검색 벤치마크에서 LRU보다 61% 높은 캐시 히트 비율을 기록하여 기존 정책인 LRU에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Program execution speed critically depends on increasing cache hits, as cache hits are orders of magnitude faster than misses. To increase cache hits, we focus on the problem of cache replacement: choosing which cache line to evict upon inserting a new line. This is challenging because it requires planning far ahead and currently there is no known practical solution. As a result, current replacement policies typically resort to heuristics designed for specific common access patterns, which fail on more diverse and complex access patterns. In contrast, we propose an imitation learning approach to automatically learn cache access patterns by leveraging Belady's, an oracle policy that computes the optimal eviction decision given the future cache accesses. While directly applying Belady's is infeasible since the future is unknown, we train a policy conditioned only on past accesses that accurately approximates Belady's even on diverse and complex access patterns, and call this approach Parrot. When evaluated on 13 of the most memory-intensive SPEC applications, Parrot increases cache miss rates by 20% over the current state of the art. In addition, on a large-scale web search benchmark, Parrot increases cache hit rates by 61% over a conventional LRU policy. We release a Gym environment to facilitate research in this area, as data is plentiful, and further advancements can have significant real-world impact.

연구 동기 및 목표

• 다양하고 복잡한 메모리 액세스 패턴에서 효과적인 캐시 교체 정책을 설계하는 데 있어 기존 히우리스틱(예: LRU)이 실패하는 문제를 해결하기 위해.
• 미래 액세스 지식이 필요한 벨라디의 최적 교체 정책을 근사화할 수 있는 이민터닝 러닝 기반 정책을 개발할 수 있는지 탐색하기 위해.
• 기존 히우리스틱 기반 접근법을 능가하는 일반화 가능한 종단 간 학습된 교체 정책을 개발하기 위해.
• 캐시 교체 분야의 재현 가능한 연구를 가능하게 하고 향후 시스템 머신러닝 분야의 연구를 지원하기 위해 Gym 환경을 공개하기 위해.

제안 방법

• 메서드는 캐시 교체 문제를 이민터닝 러닝 문제로 재정의하여, 모델이 과거 액세스 시퀀스만을 입력으로 사용해 벨라디의 최적 정책을 모방하도록 한다.
• 딥 네트워크가 과거 액세스 패턴을 기반으로 최적의 교체 결정을 예측하도록 훈련되며, 향후 지식 없이 오라클 정책을 직접 모방한다.
• 훈련 중에 전체 향후 액세스 트레이스를 사용해 계산된 벨라디 알고리즘의 시범 데이터를 활용한 지도형 학습을 사용한다.
• 실제 워크로드, 즉 SPEC CPU 벤치마크와 대규모 웹 검색 트레이스에서 종단 간으로 훈련된다.
• 표준 이민터닝 러닝을 넘어서 일반화 능력과 성능을 향상시키기 위해 추가적인 지도형 작업이 도입된다.
• 프레임워크는 계층적 캐싱을 지원하도록 확장되었으며, 더 넓은 연구 목적을 위해 Gym 환경으로 공개되었다.

실험 결과

연구 질문

• RQ1 과거 액세스 정보만을 사용하여 이민터닝 러닝 접근법이 벨라디의 최적 캐시 교체 정책을 효과적으로 근사화할 수 있는가?
• RQ2 학습된 정책이 히우리스틱 기반 정책보다 다양한 복잡한 메모리 액세스 패턴에 더 잘 일반화되는가?
• RQ3 이민터닝 러닝 기반 종단 간 접근법이 캐시 라인을 이진 분류(예: 캐시 우호적 vs. 캐시 비우호적)하는 기존 접근법과 비교해 어떻게 성능을 냈는가?
• RQ4 실제 워크로드, 예를 들어 SPEC CPU 애플리케이션과 웹 검색 시스템에서 어떤 성능 향상을 달성할 수 있는가?
• RQ5 학습된 교체 정책의 실용적 구현 과제, 예를 들어 지연 시간과 메모리 오버헤드를 어떻게 완화할 수 있는가?

주요 결과

• Parrot는 13개의 메모리 집약적인 SPEC CPU 애플리케이션에서 현재 최신 기술 수준의 교체 정책보다 캐시 미스 비율을 20% 낮춘다.
• 대규모 웹 검색 벤치마크에서 Parrot는 기존의 LRU 정책보다 캐시 히트 비율을 61% 높였다.
• 제안된 이민터닝 러닝 프레임워크는 향후 데이터에 접근할 수 없음에도 불구하고 벨라디의 최적 행동을 근사화할 수 있게 하여, 중간 히우리스틱에 의존하는 이전 방법보다 뛰어난 성능을 보였다.
• 다양한 애플리케이션에서 다른 액세스 패턴을 가진 프로그램들 사이에서 일반화 능력이 뛰어나지 않음을, 다양한 워크로드에서의 행동 변화를 보여주는 분석 실험을 통해 입증했다.
• 캐시 교체를 위한 Gym 환경의 공개는 재현 가능한 연구를 가능하게 하고, 향후 계층적 캐싱 및 강화 학습 분야의 연구를 지원한다.
• 결과적으로 종단 간 이민터닝 러닝은 실질적인 영향을 미치는 효과적인 캐시 교체 정책을 학습하는 데 있어 매우 유망한 길임을 시사한다.