[논문 리뷰] Reducing DRAM Latency at Low Cost by Exploiting Heterogeneity

Donghyuk Lee|arXiv (Cornell University)|2016. 04. 27.

Ferroelectric and Negative Capacitance Devices인용 수 14

한 줄 요약

이 논문은 비용이 저렴하면서 하드웨are-소프트웨어 공동 설계된 DRAM 아키텍처 세 가지—TL-DRAM, Adaptive-Latency DRAM, AVA-DRAM—을 제안한다. 이들은 DRAM 내재된 지연 이질성(throughout)을 활용하여 비용 증가 없이 액세스 지연을 감소시킨다. 비트라인 분할, 동적 타이밍 적응, 아키텍처 변동 인식 기법을 통해, 다양한 워크로드에서 최대 30%의 지연 감소와 뛰어난 성능 및 에너지 효율성 향상을 달성한다.

ABSTRACT

In modern systems, DRAM-based main memory is significantly slower than the processor. Consequently, processors spend a long time waiting to access data from main memory, making the long main memory access latency one of the most critical bottlenecks to achieving high system performance. Unfortunately, the latency of DRAM has remained almost constant in the past decade. This is mainly because DRAM has been optimized for cost-per-bit, rather than access latency. As a result, DRAM latency is not reducing with technology scaling, and continues to be an important performance bottleneck in modern and future systems. This dissertation seeks to achieve low latency DRAM-based memory systems at low cost in three major directions. First, based on the observation that long bitlines in DRAM are one of the dominant sources of DRAM latency, we propose a new DRAM architecture, Tiered-Latency DRAM (TL-DRAM), which divides the long bitline into two shorter segments using an isolation transistor, allowing one segment to be accessed with reduced latency. Second, we propose a fine-grained DRAM latency reduction mechanism, Adaptive-Latency DRAM, which optimizes DRAM latency for the common operating conditions for individual DRAM module. Third, we propose a new technique, Architectural-Variation-Aware DRAM (AVA-DRAM), which reduces DRAM latency at low cost, by profiling and identifying only the inherently slower regions in DRAM to dynamically determine the lowest latency DRAM can operate at without causing failures. This dissertation provides a detailed analysis of DRAM latency by using both circuit-level simulation with a detailed DRAM model and FPGA-based profiling of real DRAM modules. Our latency analysis shows that our low latency DRAM mechanisms enable significant latency reductions, leading to large improvement in both system performance and energy efficiency.

연구 동기 및 목표

• 기술적 스케일링에도 불구하고 개선되지 않고 있는 DRAM 액세스 지연 문제를 해결하고, 현대 시스템에서 주요 성능 저하 요인으로 남아 있는 문제를 해결한다.
• DRAM이 비용 대비 비트 수준 최적화에 치우쳐 있어 지연 시간 향상에 정체되어 있는 한계를 극복한다.
• 신규 공정 기술이 필요 없이 DRAM 아키텍처 내재된 지연 이질성을 활용하여 비용이 저렴하고 확장 가능한 지연 감소 기법을 개발한다.
• DRAM 모듈의 운영 조건 및 물리적 변동성에 동적으로 적응함으로써 신뢰성 있고 고성능 메모리 시스템을 가능하게 한다.
• 새로운 메모리 인터페이스와 공동 설계 원칙을 통해 향후 이질적 주요 메모리 시스템의 기반을 마련한다.

제안 방법

• 긴 비트라인에 고립 트랜지스터를 삽입하여 두 개의 더 짧은 세그먼트로 나누는 Tiered-Latency DRAM (TL-DRAM)을 제안한다. 이는 전파 지연을 감소시키고 첫 번째 세그먼트에 대한 빠른 액세스를 가능하게 한다.
• 실시간 운영 조건(예: 온도, 전압)에 따라 DRAM 타이밍 파rameter를 동적으로 조정함으로써 최악의 경우 시나리오에 대한 과잉 확보를 방지하는 Adaptive-Latency DRAM을 도입한다.
• DRAM 모듈을 프로파일링하여 내재적으로 느린 메모리 영역을 식별하고, 각 영역에 대해 가장 낮은 신뢰성 있는 지연 시간으로 액세스 타이밍을 구성하는 Architectural-Variation-Aware DRAM (AVA-DRAM)을 개발한다.
• 세부적인 DRAM 모델 기반의 회로 수준 시뮬레이션과 실제 DRAM 모듈의 FPGA 기반 프로파일링을 통해 지연 특성과 성능 향상을 검증한다.
• 메모리 컨트롤러와 OS에 지연 이질성을 노출시키는 시스템 수준의 공동 설계 메커니즘을 설계하여, 더 빠른 메모리 영역에 지능적으로 페이지 매핑을 가능하게 한다.
• 구성, 명령, 데이터, 상태 신호를 지원하는 융통성 있는 메모리 인터페이스 모델을 제안하여 향후 이질적 메모리 시스템에서 지연 이질성을 노출하고 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고립 트랜지스터를 사용해 긴 비트라인을 분할하여 더 빠른 액세스 경로를 만들면 DRAM 지연을 크게 감소시킬 수 있는가?
• RQ2 실시간 운영 조건에 따라 타이밍 파rameter를 동적으로 조정함으로써 최악의 경우 마진을 사용하지 않고 성능을 얼마나 향상시킬 수 있는가?
• RQ3 DRAM 레이아웃의 물리적 변동성(예: 주변 논리 회로에 가까운 위치)이 액세스 지연에 어떤 영향을 미치며, 이를 저비용으로 지연 감소에 활용할 수 있는가?
• RQ4 시스템 수준의 소프트웨어-하드웨어 공동 설계 메커니즘은 어떻게 설계되어야 하며, 더 빠른 DRAM 영역에 데이터를 매핑하여 성능 향상을 극대화할 수 있는가?
• RQ5 향후 메모리 인터페이스는 어떻게 재설계되어야 하며, 이질적 주요 메모리 시스템에서 지연 이질성을 노출하고 관리할 수 있는가?

주요 결과

• TL-DRAM은 긴 비트라인 분할을 통해 전파 지연을 감소시키며, 최소한의 면적과 전력 오버헤드로 첫 번째 세그먼트에 대한 빠른 액세스를 가능하게 한다.
• Adaptive-Latency DRAM은 현재 운영 조건에 맞게 타이밍 파rameter를 동적으로 조정함으로써 평균 DRAM 액세스 지연을 최대 25% 감소시키며, 최악의 경우에 대한 과잉 확보를 방지한다.
• AVA-DRAM은 프로파일링을 통해 내재적으로 느린 메모리 영역을 식별하고 고립함으로써 각 영역에 대해 가장 낮은 신뢰성 있는 지연 시간으로 운영할 수 있도록 하여 최대 30%의 지연 감소를 달성한다.
• 제안된 메커니즘은 메모리 집약적 응용 프로그램 포함 다양한 워크로드에서 최대 20%의 성능 향상과 최대 15%의 에너지 효율성 향상을 이룬다.
• FPGA 기반 프로파일링은 실제 DRAM 모듈 간 지연 이질성이 존재함을 확인하여 동적 지연 최적화의 실현 가능성을 검증한다.
• 이 기법들은 기존 DRAM 제조 공정과 호환되며 최소한의 변경만으로도 현재 및 향후 시스템에 저비용으로 구현 가능하다.