[논문 리뷰] Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems

Vivek Seshadri|arXiv (Cornell University)|2016. 05. 20.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 21

한 줄 요약

이 논문은 현대 메모리 서브시스템에서 메모리 크기 단위의 불일치로 인한 비효율을 제거하기 위해 새로운 하드웨어 및 시스템 수준 기법을 제안한다. 미세한 가상 메모리 관리를 위한 페이지 오버레이, DRAM 내부에서 데이터 연산을 수행하기 위한 RowClone와 Buddy RAM, 스트라이드 액세스 최적화를 위한 GS-DRAM, 그리고 효율적인 캐시 일관성 관리를 위한 더스트 블록 인덱스를 도입함으로써, 핵심 메모리 연산에 대해 성능과 에너지 효율성에서 최대 10배 향상을 달성한다.

ABSTRACT

In most modern systems, the memory subsystem is managed and accessed at multiple different granularities at various resources. We observe that such multi-granularity management results in significant inefficiency in the memory subsystem. Specifically, we observe that 1) page-granularity virtual memory unnecessarily triggers large memory operations, and 2) existing cache-line granularity memory interface is inefficient for performing bulk data operations and operations that exhibit poor spatial locality. To address these problems, we present a series of techniques in this thesis. First, we propose page overlays, a framework augments the existing virtual memory framework with the ability to track a new version of a subset of cache lines within each virtual page. We show that this extension is powerful by demonstrating its benefits on a number of applications. Second, we show that DRAM can be used to perform more complex operations than just store data. We propose RowClone, a mechanism to perform bulk data copy and initialization completely inside DRAM, and Buddy RAM, a mechanism to perform bulk bitwise operations using DRAM. Both these techniques achieve an order-of-magnitude improvement in the efficiency of the respective operations. Third, we propose Gather-Scatter DRAM, a technique that exploits DRAM organization to effectively gather/scatter values with a power-of-2 strided access patterns. For these access patterns, GS-DRAM achieves near-ideal bandwidth and cache utilization, without increasing the latency of fetching data from memory. Finally, we propose the Dirty-Block Index, a new way of tracking dirty blocks. In addition to improving the efficiency of bulk data coherence, DBI has several applications including high-performance memory scheduling, efficient cache lookup bypassing, and enabling heterogeneous ECC.

연구 동기 및 목표

• 단위가 다른 메모리 크기 단위(워드, 캐시 라인, 페이지, 레인지) 간의 불일치로 인한 현대 메모리 서브시스템의 비효율을 해결한다.
• 복사 및 초기화와 같은 대량 메모리 연산에서 불필요한 데이터 이동, 대역폭, 에너지 소비를 줄인다.
• 캐시 효율성을 떨어뜨리는 비단위 스트라이드 액세스 패턴에 대한 성능을 향상시킨다.
• 더러운 캐시 블록의 관리를 효율적이고 저비용으로 수행하여 일관성 및 스케줄링을 개선한다.
• 미래의 비버니셔블 메모리 기술로까지 확장 가능한 메모리 내 연산 및 관리 기법의 적용 범위를 넓힌다.

제안 방법

• 페이지 오버레이를 제안한다: 캐시 라인 수준에서 서브페이지 업데이트를 추적하는 가상 메모리 확장 기법으로, 페이지 수준 오버헤드 없이 미세한 메모리 관리를 가능하게 한다.
• RowClone를 도입한다: 레인지 수준 연산을 이용해 DRAM 내부에서 대량 데이터 복사 및 초기화를 직접 수행함으로써 외부 메모리로의 데이터 이동을 제거한다.
• Buddy RAM을 설계한다: 비트라인에서 아날로그 연산을 활용해 DRAM 내에서 대량 비트단위 논리 연산(예: XOR, AND)을 수행하는 기법이다.
• Gather-Scatter DRAM(GS-DRAM)을 개발한다: DRAM 모듈의 구성 특성을 활용해 2의 거듭제곱 스트라이드 액세스 패턴을 효율적으로 수집하거나 산산이 흩트리는 방법이다.
• 더스트 블록 인덱스(DBI)를 제안한다: 온칩 캐시 내 더러운 블록 추적 방식을 재구성하여 일관성 및 스케줄링을 위한 빠르고 효율적인 쿼리를 가능하게 한다.
• 이러한 기법들이 향후 메모리 기술, 특히 비버니셔블 메모리 기술로까지 확장 가능한지를 분석함으로써, 그 기반 아키텍처 원리를 분석한다.

실험 결과

연구 질문

• RQ1 소프트웨어나 하드웨어 비용이 높지 않게 가상 메모리를 서브페이지 수준의 정밀도로 확장할 수 있는가?
• RQ2 DRAM이 직접적으로 복잡한 데이터 연산(예: 복사, 논리 연산)을 수행할 수 있는가? 이를 통해 외부 메모리로의 데이터 이동을 줄일 수 있는가?
• RQ3 비단위 스트라이드 액세스 패턴을 효율적으로 지원할 수 있는가? 이는 대역폭 감소나 지연 증가 없이 가능한가?
• RQ4 더러운 캐시 블록 관리 방식을 재설계하여 일관성 프로토콜의 효율성을 높이고 새로운 스케줄링 최적화를 가능하게 할 수 있는가?
• RQ5 제안된 메모리 내 연산 및 관리 기법들이 미래의 비버니셔블 메모리 기술로 일반화될 수 있는가?

주요 결과

• 페이지 오버레이 기법은 서브페이지 업데이트를 가능하게 하여 복사-작업 시도(Copy-on-Write) 비용을 줄이고, 소규모 수정에 대해 전체 페이지 복사가 필요 없어진다.
• RowClone는 DRAM 내부에서 완전히 복사 및 초기화 작업을 수행함으로써 대량 데이터 복사 및 초기화에 대해 성능과 에너지 효율성에서 최대 10배 향상을 달성한다.
• Buddy RAM은 DRAM 내에서 효율적인 대량 비트단위 논리 연산(예: XOR)을 수행할 수 있게 하여 호스트 기반 계산에 비해 에너지 소비와 지연을 줄인다.
• GS-DRAM은 2의 거듭제곱 스트라이드 액세스 패턴에 대해 이론적 한계에 가까운 대역폭과 캐시 활용도를 달성하며, 메모리 지연 증가 없이도 성능을 유지한다.
• 더스트 블록 인덱스(DBI)는 빠르고 확장 가능한 더러운 블록 쿼리를 가능하게 하여 일관성 프로토콜 효율성을 향상시키고 고성능 메모리 스케줄링 및 캐시 바이패스를 지원한다.
• 제안된 기법들은 비버니셔블 메모리 기술로까지 확장 가능하며, 향후 메모리 계층에서 더 넓은 적용 가능성을 시사한다.