[논문 리뷰] Managing Hybrid Main Memories with a Page-Utility Driven Performance Model

Yang Li, Jongmoo Choi외 6명|arXiv (Cornell University)|2015. 07. 13.

Parallel Computing and Optimization Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 DRAM-NVM 메인 메모리 시스템에서 시스템 성능을 최적화하기 위해 각 페이지를 DRAM에 배치할 경우와 NVM에 배치할 경우의 성능 향상 효과를 추정하는 페이지 유틸리티 기반 하이브리드 메모리 관리 메커니즘인 UBM을 제안한다. UBM은 액세스 빈도, 로우 버퍼 국지성, 메모리 수준 병렬성의 조합을 고려한 종합적인 모델을 사용하여 페이지 유틸리티를 정량화하고 데이터 배치를 안내하며, 최신 기술 대비 평균 14% 성능 향상을 달성한다 (최대 39%).

ABSTRACT

Hybrid memory systems comprised of dynamic random access memory (DRAM) and non-volatile memory (NVM) have been proposed to exploit both the capacity advantage of NVM and the latency and dynamic energy advantages of DRAM. An important problem for such systems is how to place data between DRAM and NVM to improve system performance. In this paper, we devise the first mechanism, called UBM (page Utility Based hybrid Memory management), that systematically estimates the system performance benefit of placing a page in DRAM versus NVM and uses this estimate to guide data placement. UBM's estimation method consists of two major components. First, it estimates how much an application's stall time can be reduced if the accessed page is placed in DRAM. To do this, UBM comprehensively considers access frequency, row buffer locality, and memory level parallelism (MLP) to estimate the application's stall time reduction. Second, UBM estimates how much each application's stall time reduction contributes to overall system performance. Based on this estimation method, UBM can determine and place the most critical data in DRAM to directly optimize system performance. Experimental results show that UBM improves system performance by 14% on average (and up to 39%) compared to the best of three state-of-the-art mechanisms for a large number of data-intensive workloads from the SPEC CPU2006 and Yahoo Cloud Serving Benchmark (YCSB) suites.

연구 동기 및 목표

• 휴리스틱 기반 정책이 시스템 성능 영향을 직접 모델링하지 못함으로써 발생하는 하이브리드 DRAM-NVM 메인 메모리 시스템 내 비최적의 데이터 배치 문제를 해결한다.
• 액세스 빈도나 로우 버퍼 국지성과 같은 부분적인 대체 지표에 의존하는 기존 접근 방식의 한계를 극복한다. 이러한 지표들은 실제 스탠드 타임 감소를 반영하지 못할 수 있다.
• 페이지를 DRAM에 배치할 경우와 NVM에 배치할 경우의 시스템 수준 성능 향상 효과를 직접 추정하는 성능 모델을 개발하여 데이터 이동 결정을 안내한다.
• 응용 프로그램 수준의 스탠드 타임 감소와 전체 시스템 성능가 감도를 모두 고려한 유틸리티 메트릭을 도입하여 시스템 전체의 효율성을 향상시킨다.
• 다양한 데이터 집약적 워크로드에서 유틸리티 기반 접근 방식이 기존 최신 기술 대비 뛰어난 성능을 발휘함을 입증한다.

제안 방법

• 액세스 빈도, 로우 버퍼 국지성, 메모리 수준 병렬성(MLP)의 세 가지 핵심 요소를 조합하여, DRAM과 NVM에 페이지를 배치했을 때의 시스템 성능 향상 효과를 정량화하는 페이지 유틸리티 메트릭을 제안한다.
• 실행 중인 프로그램 동안 온라인 프로파일링을 통해 액세스 빈도, 로우 버퍼 국지성, MLP 간의 상호작용을 모델링하여 응용 프로그램 수준의 스탠드 타임 감소를 추정한다.
• 각 응용 프로그램의 스탠드 타임 감소 기여도를 전체 시스템 성능에 미치는 영향으로 모델링하며, 다양한 응용 프로그램이 지연에 대해 서로 다른 민감도를 가질 수 있음을 고려한다.
• 계산된 유틸리티 메트릭을 기반으로 고유용성 페이지를 식별하고 DRAM으로 이동시키는 하드웨어 기반 메커니즘(UBM)을 구현한다.
• 페이지 수준에서 동적으로 MLP를 평가할 수 있는 온라인 추정 기법을 사용하여, 동일한 응용 프로그램 내 페이지 간 성능 영향의 세분화된 차이를 가능하게 한다.
• 성능 모델을 하이브리드 메모리 관리 프레임워크에 통합하여 성능과 웨어 레벨링 간 균형을 이루며, 동적 워크로드 적응 기능을 지원한다.

실험 결과

연구 질문

• RQ1 하이브리드 메모리 시스템에서 특정 페이지를 DRAM에 배치할 경우와 NVM에 배치할 경우의 시스템 성능 향상 효과를 정확하게 추정할 수 있는 방법은 무엇인가?
• RQ2 액세스 빈도, 로우 버퍼 국지성, 메모리 수준 병렬성(MLP)이 한 페이지를 DRAM으로 이동시켰을 때 실제로 발생하는 스탠드 타임 감소에 미치는 영향은 얼마나 큰가?
• RQ3 전체 시스템 성능이 응용 프로그램 수준의 스탠드 타임 감소에 민감도가 다른 워크로드 간에 어떻게 달라지며, 이를 효과적인 데이터 배치를 위해 어떻게 모델링할 수 있는가?
• RQ4 시스템 수준 성능 영향을 직접 모델링하는 유틸리티 기반 메커니즘이 하이브리드 메모리 시스템에서 휴리스틱 기반 데이터 배치 전략을 능가할 수 있는가?
• RQ5 제안된 유틸리티 모델은 다양한 DRAM 크기와 NVM 액세스 지연 시간에 대해 얼마나 강건한가?

주요 결과

• UBM은 SPEC CPU2006 및 YCSB의 다양한 데이터 집약적 워크로드에서 최신 기술 중 최고 수준의 세 가지 메커니즘을 초월하여 평균 14% 성능 향상을 달성한다.
• UBM이 특정 워크로드에서 최대 39%의 성능 향상을 기록하여 지연 시간에 민감한 환경에서 뚜렷한 이점을 보여준다.
• 메모리 수준 병렬성(MLP)을 포함한 유틸리티 모델은 특히 메모리 요청이 겹치는 워크로드에서 페이지 간 성능 영향의 차이를 더 잘 구분할 수 있도록 한다.
• UBM은 다양한 구성, 즉 다양한 DRAM 크기와 NVM 액세스 지연 시간에 대해 일관된 성능 향상을 유지하며 강건성을 입증한다.
• 성능 향상은 단순히 간접 휴리스틱에 의존하는 것이 아니라, DRAM으로의 이동이 실제 스탠드 타임 감소를 가장 크게 유도하는 페이지를 식별할 수 있는 모델의 능력 덕분이다.
• 단순히 고액세스 빈도 또는 낮은 로우 버퍼 국지성 페이지를 우선순위로 삼는 것은 부족하며, 진정한 성능 향상은 빈도, 국지성, MLP의 상호작용에 의해 결정됨을 확인했다.