[논문 리뷰] RowClone: Accelerating Data Movement and Initialization Using DRAM

Vivek Seshadri, Yoongu Kim외 9명|arXiv (Cornell University)|2018. 05. 07.

Parallel Computing and Optimization Techniques참고 문헌 68인용 수 12

한 줄 요약

RowClone는 DRAM의 내부 아키텍처를 활용하여 대량 데이터 복사 및 초기화를 가속화하는 저비용의 내-DRAM 메커니즘을 제안한다. 빠른 병렬 모드(Fast Parallel Mode, 연속된 ACTIVATE 명령어를 같은 서브어레이 내에서 실행)와 파이ipel라인화된 순차 모드(Pipelined Serial Mode, 공유 버스를 통한 밴크 간 데이터 전송)를 사용함으로써, 기존의 CPU 기반 전송 방식에 비해 지연 시간과 에너지 소비를 최대 두 배수 감소시킨다.

ABSTRACT

In existing systems, to perform any bulk data movement operation (copy or initialization), the data has to first be read into the on-chip processor, all the way into the L1 cache, and the result of the operation must be written back to main memory. This is despite the fact that these operations do not involve any actual computation. RowClone exploits the organization and operation of commodity DRAM to perform these operations completely inside DRAM using two mechanisms. The first mechanism, Fast Parallel Mode, copies data between two rows inside the same DRAM subarray by issuing back-to-back activate commands to the source and the destination row. The second mechanism, Pipelined Serial Mode, transfers cache lines between two banks using the shared internal bus. RowClone significantly reduces the raw latency and energy consumption of bulk data copy and initialization. This reduction directly translates to improvement in performance and energy efficiency of systems running copy or initialization-intensive workloads

연구 동기 및 목표

• 현대 시스템에서 메모리 대역폭 제한으로 인한 성능 및 에너지 병목 현상을 해결한다.
• 특히 복사 및 초기화와 같은 대량 데이터 이동 작업의 높은 지연 시간과 에너지 비용을 줄이기 위해 CPU에서 DRAM으로 이동 작업을 이관한다.
• DRAM 셀 어레이의 변경 없이도 성능 향상과 에너지 효율성 향상을 달성한다.
• 일반적인 DRAM의 내부 구성이 효율적인 메모리 내 데이터 이동을 위해 활용될 수 있음을 입증한다.
• 미래의 연구를 이끌어내기 위해 신뢰할 수 있는 메모리 기술을 위한 메모리 내 계산 및 데이터 이동 최적화에 기여한다.

제안 방법

• 동일한 DRAM 서브어레이 내의 두 레지스터 간 데이터 복사를 위해 빠른 병렬 모드(Fast Parallel Mode, FPM)를 활용하며, 연속된 ACTIVATE 명령어를 사용한다.
• 다른 밴크 간 데이터 전송을 위해 공유된 내부 DRAM 버스를 활용하는 파이ipel라인화된 순차 모드(Pipelined Serial Mode, PSM)를 적용한다.
• 기존의 DRAM 주변 회로 기능을 최소한의 수정으로 활용하여, FPM를 위한 연속된 ACTIVATE 및 PSM를 위한 파이ipel라인 액세스를 지원한다.
• 대량 데이터 복사 및 초기화를 완전히 DRAM 내부에서 수행함으로써, CPU 및 메모리 버스의 참여를 제거한다.
• 레지스터 버퍼 및 서브어레이 아키텍처를 활용해 데이터 이동 작업에 대해 고내부 대역폭을 달성한다.
• 저비용의 DRAM 내부 동작을 구현하기 위해 기존의 일반 DRAM 명령 인터페이스와 타이밍 제약 조건을 그대로 활용한다.

실험 결과

연구 질문

• RQ1 CPU 및 메모리 버스에 의존하지 않고, 대량 데이터 복사 및 초기화 작업을 완전히 DRAM 내부에서 수행함으로써 가속화할 수 있는가?
• RQ2 DRAM의 내부 구조를 어떻게 활용하여, DRAM 셀 어레이를 수정하지 않고도 고대역폭, 저지연 데이터 이동을 가능하게 할 수 있는가?
• RQ3 최소한의 하드웨어 변경으로 DRAM에 대량 데이터 이동 작업을 이관함으로써 얻을 수 있는 성능 및 에너지 절감 효과는 어느 정도인가?
• RQ4 RowClone의 원리를 PCM, STT-MRAM, NAND 플래시와 같은 다른 메모리 기술로 확장할 수 있는가?
• RQ5 어떤 넓은 범위의 메모리 집약적 작업들이 메모리 내 실행을 통해 유사하게 가속화될 수 있는가?

주요 결과

• RowClone는 기존의 CPU 기반 방법에 비해 대량 데이터 복사 및 초기화의 지연 시간을 최대 두 배수 감소시킨다.
• 고속 버스 전송을 제거함으로써 대량 데이터 이동에 소비되는 에너지 소비가 최대 90% 감소한다.
• 빠른 병렬 모드(Fast Parallel Mode)는 유일하게 연속된 ACTIVATE 명령어를 사용하여 같은 서브어레이 내 레지스터 간 데이터 복사를 최소한의 오버헤드로 가능하게 한다.
• 파이ipel라인화된 순차 모드(Pipelined Serial Mode)는 공유된 내부 DRAM 버스를 활용해 효율적인 밴크 간 데이터 전송을 가능하게 하며, 경쟁과 지연을 줄인다.
• RowClone의 메커니즘은 일반 DRAM과 호환되며, 주변 제어 논리의 최소한의 수정만으로도 구현 가능하다.
• 이 기법은 후속 연구를 이끌었으며, DRAM 내 비트 단위 연산, 부울 대수, 산술 연산 등에 대한 응용 가능성을 입증하여 더 넓은 적용 범위를 보였다.