[논문 리뷰] Data Cache Prefetching with Perceptron Learning

Haoyuan Wang, Zhiwei Luo|arXiv (Cornell University)|2017. 12. 04.

Parallel Computing and Optimization Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 표기 기반 프리패칭(e.g., 스트라이드 또는 마르코프)과 하드웨어로 실행 가능한 퍼셉트론 학습기를 조합하여 불필요한 프리패칭을 줄이는 이중 수준의 데이터 캐시 프리패칭 기법을 제안한다. 퍼셉트론은 국소적이고 글로벌한 시간적 및 공간적 역사 정보를 사용하여 메모리 액세스 패턴을 동적으로 분류하며, 해로운 프리패칭을 거부하고 메모리 요청을 60.64–83.84% 감소시킨다. 이로 인해 IPC와 캐시 히트율에 미치는 영향은 최소한이다.

ABSTRACT

Cache prefetcher greatly eliminates compulsory cache misses, by fetching data from slower memory to faster cache before it is actually required by processors. Sophisticated prefetchers predict next use cache line by repeating program's historical spatial and temporal memory access pattern. However, they are error prone and the mis-predictions lead to cache pollution and exert extra pressure on memory subsystem. In this paper, a novel scheme of data cache prefetching with perceptron learning is proposed. The key idea is a two-level prefetching mechanism. A primary decision is made by utilizing previous table-based prefetching mechanism, e.g. stride prefetching or Markov prefetching, and then, a neural network, perceptron is taken to detect and trace program memory access patterns, to help reject those unnecessary prefetching decisions. The perceptron can learn from both local and global history in time and space, and can be easily implemented by hardware. This mechanism boost execution performance by ideally mitigating cache pollution and eliminating redundant memory request issued by prefetcher. Detailed evaluation and analysis were conducted based on SPEC CPU 2006 benchmarks. The simulation results show that generally the proposed scheme yields a geometric mean of 60.64%-83.84% decrease in prefetching memory requests without loss in instruction per cycle(IPC)(floating between -2.22% and 2.55%) and cache hit rate(floating between -1.67% and 2.46%). Though it is possible that perceptron may refuse useful blocks and thus cause minor raise in cache miss rate, lower memory request count can decrease average memory access latency, which compensate for the loss, and in the meantime, enhance overall performance in multi-programmed workloads.

연구 동기 및 목표

• 고성능 프로세서에서 정확도가 떨어지는 프리패칭으로 인한 캐시 오염 문제를 해결한다.
• IPC나 캐시 히트율을 떨어뜨리지 않으면서 프리패처에서 유발하는 중복된 메모리 요청을 줄인다.
• 국소적 및 글로벌 역사 정보를 활용하여 프로그램의 메모리 액세스 패턴에 동적으로 적응할 수 있도록 퍼셉트론 학습을 활용한다.
• 기존의 표기 기반 프리패처와 통합할 수 있는 하드웨어 효율적이고 사이클에 의존하지 않는 프리패칭 메커니즘을 개발한다.
• 단일 및 다중 프로그램 워크로드 하에서 SPEC CPU 2006 벤치마크를 대상으로 제안된 기법의 효과성을 평가한다.

제안 방법

• 글로벌 히스토리 버퍼(GHB)를 사용하여 국소적 역사 정보를 기반으로 한 첫 번째 수준의 표기 기반 프리패처(스트라이드 또는 마르코프)를 사용해 초기 프리패칭 제안을 생성한다.
• GHB 상태와 이전 액세스 패턴을 단일 뉴런 퍼셉트론에 입력하여 최종 결정을 내린다.
• 퍼셉트론은 입력값(국소적 및 글로벌 시간-공간 역사 포함)의 가중합의 부호를 계산하여 프리패칭 제안을 수락할지 거부할지 결정한다.
• 기존의 메모리 액세스 패턴을 기반으로 온라인으로 훈련하여 변화하는 워크로드에 동적으로 적응할 수 있도록 한다.
• 이중 수준 시스템을 SPEC CPU 2006 벤치마크와 함께 마이크로아키텍처 시뮬레이션 프레임워크에 통합한다.
• 캐시 히트율과 GHB 업데이트 피드백을 활용하여 프리패칭 활동과 메모리 액세스 행동 간의 동적 평형을 모델링한다.

실험 결과

연구 질문

• RQ1 퍼셉트론 기반의 두 번째 수준 필터가 표기 기반 프리패처에서 유발하는 불필요한 프리패칭 요청을 효과적으로 줄일 수 있는가?
• RQ2 퍼셉트론 학습은 IPC와 캐시 히트율을 유지하거나 향상시키면서 캐시 오염을 어느 정도 완화하는가?
• RQ3 국소적 및 글로벌 시간적 및 공간적 역사 정보의 통합이 프리패칭 거부 결정의 정확도를 어떻게 향상시키는가?
• RQ4 다중 코어 환경에서 프리패칭 트래픽 감소가 메모리 서브시스템의 압력에 어떤 영향을 미치는가?
• RQ5 GHB 업데이트, 프리패처 제안, 캐시 히트율 간 피드백 루프가 시스템의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 이중 수준 프리패처는 스트라이드 프리패처 대비 기하 평균 60.64%의 프리패칭 메모리 요청 감소를 기록했으며, 마르코프 프리패처 대비 83.84% 감소를 기록했다.
• 성능 저하가 최소한이어서 IPC는 기준값과 ±2.55% 이내, 캐시 히트율은 ±2.46% 이내를 유지한다.
• 캐시 히트율 평균 감소가 스트라이드 기준 0.03%, 마르코프 기준 0.15%에 그치지만, 메모리 트래픽 감소로 인해 평균 메모리 액세스 지연이 낮아지고 전체 성능이 향상된다.
• 퍼셉트론은 높은 거부율을 달성하여 다수의 중복 프리패칭 제안을 거부함으로써 캐시 오염과 대역폭 압박을 완화한다.
• GHB 업데이트, 프리패처 제안, 캐시 히트율 간의 동적 평형이 관찰되었으며, 이는 시스템이 더 효율적인 새로운 운영 지점으로 안정화됨을 의미한다.
• 퍼셉트론이 국소적 및 글로벌 메모리 액세스 패턴을 모두 학습함으로써 비정상적인 액세스 패턴에 효과적으로 하드웨어 友好的하게 적응할 수 있다.