[논문 리뷰] A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems

HanBin Yoon, Justin Meza외 3명|arXiv (Cornell University)|2018. 04. 30.

Parallel Computing and Optimization Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 DRAM-PCM 하이브리드 메모리 시스템 내부에서 자주 재사용되는 데이터를 지능적으로 캐시하는 메모리 컨트롤러를 제안한다. 이 컨트롤러는 행 버퍼 국소성 인식 기능을 통해 DRAM 내부에 데이터를 캐시함으로써 성능을 14% 향상시키고 에너지 효율성을 10% 향상시킨다. 기존의 주파수 기반 캐싱 방식보다 31% 높은 성능을 기록하며, 전통적인 주파수 기반 캐싱 대비 성능은 14% 향상되고 에너지 효율성은 10% 향상된다.

ABSTRACT

Non-volatile memory (NVM) is a class of promising scalable memory technologies that can potentially offer higher capacity than DRAM at the same cost point. Unfortunately, the access latency and energy of NVM is often higher than those of DRAM, while the endurance of NVM is lower. Many DRAM-NVM hybrid memory systems use DRAM as a cache to NVM, to achieve the low access latency, low energy, and high endurance of DRAM, while taking advantage of the large capacity of NVM. A key question for a hybrid memory system is what data to cache in DRAM to best exploit the advantages of each technology while avoiding the disadvantages of each technology as much as possible. We propose a new memory controller design that improves hybrid memory performance and energy efficiency. We observe that both DRAM and NVM banks employ row buffers that act as a cache for the most recently accessed memory row. Accesses that are row buffer hits incur similar latencies (and energy consumption) in both DRAM and NVM, whereas accesses that are row buffer misses incur longer latencies (and higher energy consumption) in NVM than in DRAM. To exploit this, we devise a policy that caches heavily-reused data that frequently misses in the NVM row buffers into DRAM. Our policy tracks the row buffer miss counts of recently-used rows in NVM, and caches in DRAM the rows that are predicted to incur frequent row buffer misses. Our proposed policy also takes into account the high write latencies of NVM, in addition to row buffer locality and more likely places the write-intensive pages in DRAM instead of NVM.

연구 동기 및 목표

• DRAM과 비버니시브 메모리(NVM), 특히 프래즈 체인지 메모리(PCM)를 사용하는 하이브리드 메모리 시스템의 성능 및 에너지 비효율 문제를 행 버퍼 동작 특성을 활용하여 해결하고자 한다.
• NVM(PCM)의 행 버퍼에서 자주 미스 발생하는 데이터를 식별하고 이를 DRAM에 캐시하여 고지연, 고에너지 소모의 PCM 어레이 액세스를 줄이고자 한다.
• 접근 빈도나 최근성 외에도 NVM의 행 버퍼 국소성 및 왤기 지연 특성을 고려한 데이터 배치 결정을 개선하고자 한다.
• 작업의 동작 특성에 맞게 유연하게 조정 가능한 동적 비용-편익 기반 임계값 메커니즘을 설계하여 최적의 DRAM 캐싱을 달성하고자 한다.

제안 방법

• 컨트롤러는 NVM(PCM) 측의 최근에 액세스된 메모리 행에 대한 행 버퍼 미스 수를 모니터링한다.
• 높은 행 버퍼 미스 수를 보이는 행은 국소성이 낮지만 재사용 빈도가 높다는 의미로, DRAM 캐시 대상으로서 이상적인 후보로 식별된다.
• 접근 패턴의 비용-편익 분석을 기반으로 동적 임계값 메커니즘을 사용하여 어느 행을 DRAM으로 이관할지 결정한다.
• PCM의 높은 왤기 지연 특성을 고려하여 왤기 집약적인 페이지를 우선적으로 DRAM에 배치함으로써 영향을 최소화한다.
• DRAM을 큰 PCM 주 메모리의 캐시로 사용하는 하이브리드 메모리 아키텍처를 사용한다.
• 세밀한 사이클 정밀도 시뮬레이션을 통해 실사용 서버 및 클라우드 워크로드를 기반으로 설계를 평가한다.

실험 결과

연구 질문

• RQ1 NVM 및 DRAM 내의 행 버퍼 국소성을 어떻게 활용하여 하이브리드 메모리의 성능과 에너지 효율성을 향상시킬 수 있는가?
• RQ2 고지연 PCM 어레이 액세스를 효과적으로 줄이면서 DRAM 캐시 오염을 최소화할 수 있는 데이터 배치 정책은 무엇인가?
• RQ3 행 버퍼 국소성과 왤기 지연 인식을 조합하면 하이브리드 메모리 시스템의 전체 효율성이 어떻게 향상되는가?
• RQ4 국소성 인식 정책이 하이브리드 메모리 시스템에서 접근 빈도나 최근성 기반 캐싱보다 우수한 성능을 낼 수 있는가?
• RQ5 행 버퍼 동작 특성은 PCM, STT-MRAM, 저지연 DRAM과 같은 다양한 메모리 기술 간에 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 행 버퍼 국소성 인식(RBLA) 정책은 DRAM-PCM 하이브리드 시스템에서 기존의 주파수 기반 캐싱 대비 평균 시스템 성능을 14% 향상시킨다.
• RBLA 컨트롤러는 데이터 집약적인 서버 및 클라우드 워크로드에서 기준 정책 대비 에너지 효율성을 10% 향상시킨다.
• 모든 PCM 메모리 시스템 대비 시스템 성능이 31% 향상되어 DRAM 캐시의 상당한 이점을 입증한다.
• PCM의 용량 우수성은 고려하지 않았음에도 불구하고 하이브리드 시스템은 모든 DRAM 시스템 대비 최대 29% 성능을 유지한다.
• 반복적인 행 버퍼 미스를 유발하는 데이터 접근 패턴을 더 잘 포착함으로써, 빈도나 최근성 기반 캐싱보다 우수한 성능을 기록한다.
• 이 방법은 STT-MRAM 및 저지연 DRAM과 같은 행 버퍼를 갖춘 NVM 기술을 사용하는 다른 하이브리드 메모리 시스템으로도 일반화 가능하다.