[논문 리뷰] Understanding and Improving the Latency of DRAM-Based Memory Systems

Kevin K. Chang|arXiv (Cornell University)|2017. 12. 22.

Parallel Computing and Optimization Techniques인용 수 28

한 줄 요약

이 학위논문은 지속적인 DRAM 지연의 세 가지 핵심 원인—비효율적인 대량 데이터 이동, 리프레시 간섭, 그리고 본질적인 셀 수준의 지연 변동성—을 규명하고 해결하기 위해 LISA(저비용 상호연결 서브어레이), DSARP(액세스-리프레시 병렬화), FLY-DRAM(유연 지연 DRAM), Voltron(전압 인식 지연 최적화)를 제안한다. 이러한 기법들은 아키텍처적 혁신과 실세계 DRAM 동작의 경험적 특성 분석을 통해 지연을 감소시키고 에너지 효율성을 향상시킨다.

ABSTRACT

Over the past two decades, the storage capacity and access bandwidth of main memory have improved tremendously, by 128x and 20x, respectively. These improvements are mainly due to the continuous technology scaling of DRAM (dynamic random-access memory), which has been used as the physical substrate for main memory. In stark contrast with capacity and bandwidth, DRAM latency has remained almost constant, reducing by only 1.3x in the same time frame. Therefore, long DRAM latency continues to be a critical performance bottleneck in modern systems. Increasing core counts, and the emergence of increasingly more data-intensive and latency-critical applications further stress the importance of providing low-latency memory access. In this dissertation, we identify three main problems that contribute significantly to long latency of DRAM accesses. To address these problems, we present a series of new techniques. Our new techniques significantly improve both system performance and energy efficiency. We also examine the critical relationship between supply voltage and latency in modern DRAM chips and develop new mechanisms that exploit this voltage-latency trade-off to improve energy efficiency. The key conclusion of this dissertation is that augmenting DRAM architecture with simple and low-cost features, and developing a better understanding of manufactured DRAM chips together lead to significant memory latency reduction as well as energy efficiency improvement. We hope and believe that the proposed architectural techniques and the detailed experimental data and observations on real commodity DRAM chips presented in this dissertation will enable development of other new mechanisms to improve the performance, energy efficiency, or reliability of future memory systems.

연구 동기 및 목표

• 20년 동안 용량은 128배, 대역폭은 20배 증가했음에도 불구하고 지연이 단지 1.3배만 향상된, 지속적인 성능 저하 요인인 DRAM 지연을 해결한다.
• 현재는 여분의 외부 메모리 전송을 수반하는 DRAM 서브어레이 간 대량 데이터 이동의 비효율성을 규명하고 해결한다.
• 메모리 액세스를 차단하는 DRAM 리프레시 작업으로 인한 성능 저하를 완화한다.
• 제조 공정의 비규칙성으로 인해 발생하는 DRAM 셀 간 본질적 지연 변동성을 활용하여 빠른 셀과 느린 셀을 분류해 최적화된 액세스를 수행한다.
• DRAM의 전압-지연 상호관계를 특성 분석하고 이를 활용해 동적 전압 스케일링을 통해 에너지 효율성을 향상시킨다.

제안 방법

• LISA를 설계하여 서브어레이 간 빠르고 내부에서의 데이터 이동을 가능하게 하여 외부 전송의 필요성을 줄이고, 빠른 복사 및 낮은 백킹 준비 지연을 지원한다.
• DSARP를 개발하여 메모리 액세스와 리프레시 작업을 병렬화하는 이중 기법을 통해 리프레시로 인한 지연을 감소시킨다.
• FLY-DRAM을 제안하여 DRAM 셀을 빠른 영역과 느린 영역으로 분류하고, 하드웨어 및 컨트롤러 수정을 통해 빠른 영역에 대해 지연을 줄여 액세스한다.
• Voltron을 도입하여 성능 모델을 기반으로 DRAM 공급 전압을 동적으로 조정함으로써 지연을 최소화하고 신뢰성을 유지하면서 에너지 효율성을 향상시킨다.
• 실제 상용 DRAM 칩을 대상으로 광범위한 실험적 특성 분석을 수행하여 셀 간 지연 변동성과 전압 의존성 지연 행동을 측정한다.
• 모든 제안된 기법의 검증 및 평가를 위해 FPGA 기반 테스팅 인fra(소프트맥), 커스텀 시뮬레이터(Ramulator, NoCulator)를 활용한다.

실험 결과

연구 질문

• RQ1 DRAM 서브어레이 간 내부 데이터 이동을 어떻게 최적화하여 외부 전송과 지연을 줄일 수 있는가?
• RQ2 메모리 액세스와 DRAM 리프레시 작업을 얼마나 잘 겹쳐서 처리할 수 있으며, 이를 통해 리프레시로 인한 성능 저하를 얼마나 줄일 수 있는가?
• RQ3 단일 칩 내부의 개별 DRAM 셀 간 본질적 지연 변동성의 정도와 성격은 어떠하며, 이를 어떻게 활용할 수 있는가?
• RQ4 공급 전압이 DRAM 액세스 지연, 에너지 소비 및 신뢰성에 미치는 영향은 무엇이며, 이 관계를 에너지 효율성 향상에 활용할 수 있는가?
• RQ5 셀 수준의 지연 변동성과 전압-지연 상호관계를 활용하는 아키텍처 기법을 실제 시스템에서 설계하고 검증할 수 있는가?

주요 결과

• LISA는 서브어레이 간 빠르고 에너지 효율적인 데이터 이동을 가능하게 하여 외부 전송의 필요성을 줄이고, 빠른 복사 및 낮은 백킹 준비 지연을 지원하는 저지연 메커니즘을 구현한다.
• DSARP 기법은 액세스를 리프레시와 겹쳐 처리함으로써 리프레시로 인한 지연을 감소시키며, 최소한의 하드웨어 변경으로 리프레시가 없는 이상적인 시스템에 가까운 성능을 달성한다.
• FLY-DRAM은 빠른 셀 영역을 선택적으로 액세스하여 DRAM 액세스 지연을 줄이며, 셀 수준의 지연 변동성을 활용해 시스템 성능을 향상시킨다.
• Voltron은 성능 모델을 기반으로 DRAM 공급 전압을 동적으로 조정하여 지연을 최소화하고 에너지 효율성을 향상시킨다. 이는 전압-지연 상호관계를 활용한 결과이다.
• 연구 결과, 제조 공정의 비규칙성으로 인해 DRAM 셀 간에 상당한 지연 변동성이 존재하며, 일부 셀은 본질적으로 다른 셀보다 더 빠르게 동작함을 규명하였고, 이는 최악의 경우 지연이 동일하다는 가정을 도전한다.
• 실험적 특성 분석 결과, DRAM 어레이 공급 전압을 증가시키면 액세스 지연이 안정적으로 감소함을 확인하였으며, 이는 새로운 에너지-지연 상호관계를 시스템 최적화에 활용할 수 있음을 시사한다.