[논문 리뷰] Understanding the Interactions of Workloads and DRAM Types: A Comprehensive Experimental Study

Saugata Ghose, Tianshi Li외 3명|arXiv (Cornell University)|2019. 02. 20.

Parallel Computing and Optimization Techniques참고 문헌 141인용 수 7

한 줄 요약

이 논문은 9종의 DRAM 유형에 걸쳐 115종의 현대 워크로드에 대한 종합적인 실험 연구를 제시하며, DDR4 및 HMC와 같은 신형 DRAM 기술이 DDR3와 같은 이전 기술보다 일관되게 뛰어나지 않음을 드러낸다. 이는 더 높은 지연 시간과 국소성 탐색의 열악한 활용도 때문이며, 연구는 핵심 성능 트레이드오���을 규명하고 워크로드-DRAM 상호작용에 기반한 맞춤형 하드웨어 및 소프트웨어 최적화를 주장한다.

ABSTRACT

It has become increasingly difficult to understand the complex interaction between modern applications and main memory, composed of DRAM chips. Manufacturers are now selling and proposing many different types of DRAM, with each DRAM type catering to different needs (e.g., high throughput, low power, high memory density). At the same time, the memory access patterns of prevalent and emerging workloads are rapidly diverging, as these applications manipulate larger data sets in very different ways. As a result, the combined DRAM-workload behavior is often difficult to intuitively determine today, which can hinder memory optimizations in both hardware and software. In this work, we identify important families of workloads, as well as prevalent types of DRAM chips, and rigorously analyze the combined DRAM--workload behavior. To this end, we perform a comprehensive experimental study of the interaction between nine different DRAM types and 115 modern applications and multiprogrammed workloads. We draw 12 key observations from our characterization, enabled in part by our development of new metrics that take into account contention between memory requests due to hardware design. Notably, we find that (1) newer DRAM types such as DDR4 and HMC often do not outperform older types such as DDR3, due to higher access latencies and, in the case of HMC, poor exploitation of locality; (2) there is no single DRAM type that can cater to all components of a heterogeneous system (e.g., GDDR5 significantly outperforms other memories for multimedia acceleration, while HMC significantly outperforms other memories for network acceleration); and (3) there is still a strong need to lower DRAM latency, but unfortunately the current design trend of commodity DRAM is toward higher latencies to obtain other benefits. We hope that the trends we identify can drive optimizations in both hardware and software design.

연구 동기 및 목표

• 현대 워크로드와 다양한 DRAM 유형 간의 복잡한 상호작용을 이해하기 위해, 성능, 전력 소비, 밀도 측면에서 점점 더 다양해지는 특성을 고려한다.
• 현재 설계 트렌드가 다른 이점을 위해 더 높은 지연 시간을 수용함에 따라, 이질적인 워크로드에 최적의 DRAM 유형을 선택하는 데 도전하는 문제를 해결한다.
• 메모리 액세스 패턴, 지연 시간, 대역폭, 에너지 소비가 서로 다른 DRAM 기술 간에 어떻게 상호작용하는지에 대한 경험적 통찰을 제공한다.
• 고립된 워크로드나 DRAM 유형에 집중하는 기존 메모리 시뮬레이터 및 벤치마킹 접근 방식의 한계를 규명한다.
• 수정된 시뮬레이터와 종합적인 벤치마크 세트를 공개하여 향후 하드웨어 및 소프트웨어 최적화를 지원한다.

제안 방법

• DDR3, DDR4, GDDR5, HBM, HMC 등 9종의 DRAM 유형을 모델링하기 위해 사이클 정밀도가 확보된 광범위하게 수정된 DRAM 시뮬레이터를 사용한 대규모 실험 연구를 수행했다.
• 고성능 컴퓨팅, 클라우드, 멀티미디어, 네트워킹, 과학적 응용 분야를 아우르는 115종의 실제 및 합성 워크로드를 평가했다.
• 다중 프로그램 워크로드에서의 하드웨어 경쟁과 메모리 컨트롤러 동작을 고려한 새로운 성능 메트릭을 개발했다.
• 모든 워크로드-DRAM 조합에 대해 액세스 지연 시간, 대역폭, 에너지 소비, 레지스터 버퍼 히트율, 벤치 수준의 병렬성 등의 핵심 메트릭을 측정했다.
• 캐시 라인 인터리빙과 현실적인 메모리 컨트롤러 정책을 사용하여 결과가 실제 시스템 동작을 반영하도록 보장했다.
• 동시 실행 응용 프로그램 간의 경쟁과 자원 공유 영향을 평가하기 위해 다중 프로그램 워크로드를 수행했다.

실험 결과

연구 질문

• RQ1 다양한 현대 워크로드에서 지연 시간, 대역폭, 에너지 효율성 측면에서 서로 다른 DRAM 유형은 어떻게 성능을 내는가?
• RQ2 DDR4 및 HMC와 같은 신형 DRAM 기술이 DDR3와 같은 이전 기술보다 얼마나 뛰어나며, 특히 다양한 액세스 패턴에서 어떻게 성능을 내는가?
• RQ3 멀티미디어, 네트워크 처리, HPC 워크로드와 같은 특정 워크로드 카테고리에 가장 적합한 DRAM 유형은 무엇인가?
• RQ4 메모리 액세스 패턴(예: 공간적 및 시간적 국소성)은 벤치 수준의 병렬성 및 레지스터 버퍼 동작과 같은 DRAM 하드웨어 기능과 어떻게 상호작용하는가?
• RQ5 현재 상용 DRAM 설계에서의 주요 성능 저하 요인은 무엇이며, 이는 워크로드에 따라 어떻게 달라지는가?

주요 결과

• DDR4 및 HMC와 같은 신형 DRAM 기술은 더 높은 액세스 지연 시간과 HMC의 경우 공간적·시간적 국소성의 열악한 활용도로 인해 DDR3보다 항상 뛰어나지 않는다.
• GDDR5는 멀티미디어 가속 워크로드에서 다른 DRAM 유형보다 뚜렷이 뛰어나며, 고대역폭 및 비정규 액세스 패턴에 적합함을 보여준다.
• HMC는 높은 대역폭과 낮은 지연 시간 덕분에 네트워크 가속 워크로드에서 뛰어난 성능을 보이지만, 제한된 벤치 수준의 병렬성과 특정 액세스 패턴에서의 높은 지연 시간으로 인해 다른 분야에선 성능이 열 劣하다.
• 모든 워크로드 카테고리에서 최적의 성능을 제공하는 단일 DRAM 유형은 존재하지 않으며, 이는 이질적 메모리 시스템의 필요성을 확인한다.
• 대역폭과 밀도 향상에도 불구하고, 현재 상용 DRAM 설계의 추세는 더 높은 지연 시간을 향해 가고 있으며, 이는 성능 향상의 이점을 약화시키고 있으며, 향후 지연 시간 감소의 필요성을 강조한다.
• 이 연구는 레지스터 버퍼 국소성과 벤치 수준의 병렬성이 DRAM 성능에서 핵심 요소임을 드러내며, 유사한 DRAM 유형 간에도 워크로드 액세스 패턴에 따라 성능 차이가 뚜렷하게 나타남을 확인한다.