[논문 리뷰] When to use 3D Die-Stacked Memory for Bandwidth-Constrained Big Data Workloads

Jason Lowe-Power, Mark D. Hill외 1명|arXiv (Cornell University)|2016. 08. 26.

Parallel Computing and Optimization Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 대용량 데이터 처리 작업에서 대역폭 제약이 있는 메모리 내 작업을 위한 3D 다이 스택드 메모리를 평가하며, 기존 아키텍처와의 비용-성능 모델을 통해 전통적, 대용량 메모리, 다이 스택드 아키텍처를 비교한다. 연구 결과, 다이 스택드 기술은 응답 시간을 최대 256배 감소시키며 10ms SLA 하에서 메모리 과다 할당이 필요 없게 하지만, 전력 소비는 50배 높고 용량은 낮아, 엄격한 SLA와 고대역폭 워크로드에서만 가장 비용 효율적임을 확인함.

ABSTRACT

Response time requirements for big data processing systems are shrinking. To meet this strict response time requirement, many big data systems store all or most of their data in main memory to reduce the access latency. Main memory capacities have grown, and systems with 2 TB of main memory capacity available today. However, the rate at which processors can access this data--the memory bandwidth--has not grown at the same rate. In fact, some of these big-memory systems can access less than 10% of their main memory capacity in one second (billions of processor cycles). 3D die-stacking is one promising solution to this bandwidth problem, and industry is investing significantly in 3D die-stacking. We use a simple back-of-the-envelope-style model to characterize if and when the 3D die-stacked architecture is more cost-effective than current architectures for in-memory big data workloads. We find that die-stacking has much higher performance than current systems (up to 256x lower response times), and it does not require expensive memory over provisioning to meet real-time (10 ms) response time service-level agreements. However, the power requirements of the die-stacked systems are significantly higher (up to 50x) than current systems, and its memory capacity is lower in many cases. Even in this limited case study, we find 3D die-stacking is not a panacea. Today, die-stacking is the most cost-effective solution for strict SLAs and by reducing the power of the compute chip and increasing memory densities die-stacking can be cost-effective under other constraints in the future.

연구 동기 및 목표

• 대용량 데이터 처리 워크로드에서 대역폭 제약이 있는 메모리 내 작업에 대해 3D 다이 스택드 메모리가 현재 서버 아키텍처에 비해 비용 효율적인 대안이 되는지 평가하기.
• 전통적, 대용량 메모리, 다이 스택드 아키텍처의 세 가지 시스템 아키텍처 간 메모리 대역폭, 용량, 전력 소비, 비용 간의 상호 교환 관계 분석하기.
• 다이 스택드 메모리가 기존 솔루션보다 더 나은 비용-성능을 제공하는 워크로드 및 시스템 제약 조건을 규명하기.
• 높은 전력 소비와 제한된 용량에도 불구하고 다이 스택드 기술이 실현 가능해지는 조건을 규명하기.

제안 방법

• 전통적(일반형 DRAM), 대용량 메모리(고용량 버퍼드 DRAM), 3D 다이 스택드(전면 배선을 통한 TSV로 스택된 DRAM) 아키텍처를 비교하는 백오브ザエンVELO프 비용-성능 모델 개발.
• 제조사 데이터와 실제 하드웨어 측정치를 활용해 각 시스템 구성에 대한 메모리 대역폭, 전력 소비, 메모리 용량 추정.
• 서비스 수준 약정(SLA) 제약 조건(예: 10ms, 1초)과 데이터 크기가 변화하는 조건에서의 시스템 성능 평가.
• 대역폭 대 용량 비율, 전력 소비, 메모리 밀도를 함수로 하는 비용 효율성 모델링 및 핵심 파rameter의 민감도 분석.
• 사용자가 입력을 조정하고 다양한 구성에 대해 결과를 재계산할 수 있도록 상호작용 가능한 온라인 모델 공개.
• 프로세서 간 통신은 고려하지 않으며, 주로 산술 강도가 낮은 분석 데이터베이스 쿼리에 의해 영향을 받는 메모리 대역폭 제약 워크로드에 집중함.

실험 결과

연구 질문

• RQ1 대용량 데이터 워크로드에서 3D 다이 스택드 메모리가 전통적 또는 대용량 메모리 서버 아키텍처보다 더 비용 효율적인 조건은 무엇인가?
• RQ2 다이 스택드 기술은 현재 아키텍처 대비 응답 시간, 전력 소비, 메모리 용량에 어떤 영향을 미치는가?
• RQ3 엄격한 SLA(예: 10ms) 조건에서 다이 스택드 메모리의 비용 효율성은 과다 할당된 전통적 시스템 대비 어떻게 다를까?
• RQ4 계산 성능과 메모리 밀도의 변화가 향후 아키텍처에서 다이 스택드 시스템의 실현 가능성에 어떤 영향을 미치는가?
• RQ5 통신 오버헤드와 산술 강도는 다이 스택드 시스템의 성능 및 비용 교환 관계에 얼마나 큰 영향을 미치는가?

주요 결과

• 3D 다이 스택드 메모리는 현재 시스템 대비 응답 시간을 최대 256배 감소시켜 대역폭 제약 워크로드의 성능을 크게 향상시킴.
• 다이 스택드 아키텍처는 10ms SLA를 충족하기 위해 메모리 과다 할당이 필요한 전통적 및 대용량 메모리 시스템과는 달리, 과다 할당이 필요 없어짐.
• 다이 스택드 시스템의 전력 소비는 전통적 시스템 대비 최대 50배 높아 전력 소비가 주요 비용 제약 요소가 됨.
• 높은 대역폭에도 불구하고 다이 스택드 시스템은 낮은 메모리 용량을 가지며, 16TB 용량을 확보하기 위해 2000개 이상의 스택이 필요함.
• 다이 스택드 기술은 엄격한 10ms SLA와 데이터셋의 대부분을 액세스하는 워크로드에서만 가장 비용 효율적임.
• 향후 계산 성능 효율성 또는 메모리 밀도 향상은 다이 스택드 기술을 더 넓은 범위의 워크로드 및 제약 조건에 적용 가능하게 만들 수 있음.