[논문 리뷰] HiRA: Hidden Row Activation for Reducing Refresh Latency of Off-the-Shelf DRAM Chips

A. Giray Yağlıkçı, Ataberk Olgun외 6명|arXiv (Cornell University)|2022. 09. 21.

Semiconductor materials and devices인용 수 5

한 줄 요약

HiRA는 표준 DRAM 칩에서 전기적으로 분리된 레지스터 회로를 활용해 동일한 범주 내에서 행 갱신과 액티베이션을 동시에 수행할 수 있도록 하는 새로운 메모리 연산을 도입함으로써, 리프레시 지연을 줄입니다. 이는 하드웨어를 수정하지 않고도 일반적인 DRAM 칩에서 두 행의 리프레시 지연을 평균 51.4% 감소시키며, 주기적 리프레시의 경우 시스템 성능을 12.6% 향상시키고, RowHammer 예방 리프레시의 경우 3.73배 향상시킵니다.

ABSTRACT

DRAM is the building block of modern main memory systems. DRAM cells must be periodically refreshed to prevent data loss. Refresh operations degrade system performance by interfering with memory accesses. As DRAM chip density increases with technology node scaling, refresh operations also increase because: 1) the number of DRAM rows in a chip increases; and 2) DRAM cells need additional refresh operations to mitigate bit failures caused by RowHammer, a failure mechanism that becomes worse with technology node scaling. Thus, it is critical to enable refresh operations at low performance overhead. To this end, we propose a new operation, Hidden Row Activation (HiRA), and the HiRA Memory Controller (HiRA-MC). HiRA hides a refresh operation's latency by refreshing a row concurrently with accessing or refreshing another row within the same bank. Unlike prior works, HiRA achieves this parallelism without any modifications to off-the-shelf DRAM chips. To do so, it leverages the new observation that two rows in the same bank can be activated without data loss if the rows are connected to different charge restoration circuitry. We experimentally demonstrate on 56% real off-the-shelf DRAM chips that HiRA can reliably parallelize a DRAM row's refresh operation with refresh or activation of any of the 32% of the rows within the same bank. By doing so, HiRA reduces the overall latency of two refresh operations by 51.4%. HiRA-MC modifies the memory request scheduler to perform HiRA when a refresh operation can be performed concurrently with a memory access or another refresh. Our system-level evaluations show that HiRA-MC increases system performance by 12.6% and 3.73x as it reduces the performance degradation due to periodic refreshes and refreshes for RowHammer protection (preventive refreshes), respectively, for future DRAM chips with increased density and RowHammer vulnerability.

연구 동기 및 목표

• 고밀도의 표준 DRAM 칩에서 메모리 리프레시 연산의 성능 오버헤드를 줄이기 위해.
• 행 수 증가와 RowHammer로 인한 예방적 리프레시로 인해 증가하는 리프레시 지연 문제를 해결하기 위해.
• DRAM 칩 회로 구조를 수정하지 않고도 리프레시와 메모리 액세스 연산 간의 병행 처리를 가능하게 하기 위해.
• 성능 저하를 최소화할 수 있도록 HiRA 연산을 스케줄링하는 메모리 컨트롤러를 설계하기 위해.
• HiRA의 실현 가능성과 성능 이점을 실제 DRAM 칩에서 입증하기 위해.

제안 방법

• HiRA는 동일한 범주 내 다른 행의 전하 복구 회로 간 전기적 고립을 활용해, 동시에 액티베이션과 리프레시를 허용합니다.
• 표준 ACT 및 PRE 명령어의 순서를 정밀하게 제어하여 전기적으로 분리된 두 행을 빠르게 차례로 활성화함으로써, 일반적인 타이밍 제약을 안전하게 위반합니다.
• HiRA 메모리 컨트롤러(HiRA-MC)는 가능한 한 기존 리프레시 또는 액티베이션 작업과 겹치도록 리프레시 및 액세스 요청을 스케줄링합니다.
• HiRA-MC는 시간적 여유가 있는 리프레시 요청을 큐에 넣고, 작업 마감일자를 할당하여 다른 작업과의 기회적 겹침을 가능하게 합니다.
• 이 방법은 기존의 DRAM 명령세트( ACT, PRE, REF)에만 의존하며, DRAM 칩 설계의 변경이 필요하지 않습니다.
• 시스템 수준 평가에서는 실제 메모리 액세스 패턴을 반영한 워크로드 트레이스를 사용해 성능 향상을 측정합니다.

Fig. 1: DRAM organization

실험 결과

연구 질문

• RQ1 DRAM 칩 하드웨어를 수정하지 않고도 동일한 DRAM 범주 내에서 다른 메모리 연산과 리프레시를 겹칠 수 있는가?
• RQ2 전하 복구 회로가 전기적으로 분리된 두 행을 동시에 활성화하고 리프레시할 수 있는가, 안전하게?
• RQ3 표준 DRAM 명령어만을 사용해 리프레시와 액세스 연산을 겹치면 어떤 성능 향상을 기대할 수 있는가?
• RQ4 실제 워크로드 하에서 다양한 표준 DRAM 칩에서 HiRA는 어떻게 성능을 발휘하는가?
• RQ5 기존 RowHammer 방어 기법과 효과적으로 통합되어 그 성능 비용을 줄일 수 있는가?

주요 결과

• HiRA는 56종의 실제 표준 DRAM 칩에서 평균적으로 두 행의 리프레시 총 지연을 51.4% 감소시켰습니다.
• 이 기법은 테스트한 모든 칩에서 신뢰성 있게 작동하며, 하드웨어 수정 없이도 일관된 성능 향상을 보였습니다.
• HiRA-MC는 주기적 리프레시로 인한 성능 저하를 줄여 시스템 성능을 12.6% 향상시켰습니다.
• HiRA-MC는 RowHammer 예방 리프레시의 경우 3.73배의 성능 향상을 달성하여 그 오버헤드를 크게 감소시켰습니다.
• 전하 복구 회로가 분리된 행 쌍이라면, 동일한 범주 내에서 어떤 행 쌍이라도 동시에 리프레시 및 액티베이션을 수행할 수 있습니다.
• HiRA는 기존의 지연 감소 기법과 RowHammer 방어 기법과 조합하여 추가적인 시스템 성능 향상을 이룰 수 있습니다.

Fig. 2: Performing a HiRA operation and its effects on a DRAM bank. Command timings are not to scale. LRB: Local Row Buffer