[논문 리뷰] The Processing Using Memory Paradigm:In-DRAM Bulk Copy, Initialization, Bitwise AND and OR

Vivek Seshadri, Onur Mutlu|arXiv (Cornell University)|2016. 10. 30.

Parallel Computing and Optimization Techniques참고 문헌 74인용 수 17

한 줄 요약

이 논문은 센스 앰프와 비트라인과 같은 기존 DRAM 구조를 활용하여, 대량 복사 및 초기화를 위한 RowClone, 비트단위 연산을 위한 In-DRAM AND/OR (IDAO)라는 두 가지 DRAM 내부 기법을 제안한다. 이 두 기법은 외부 메모리로의 데이터 이동을 제거하여 메모리 집약적인 작업에서 성능과 에너지 효율성을 10배 이상 향상시킨다.

ABSTRACT

In existing systems, the off-chip memory interface allows the memory controller to perform only read or write operations. Therefore, to perform any operation, the processor must first read the source data and then write the result back to memory after performing the operation. This approach consumes high latency, bandwidth, and energy for operations that work on a large amount of data. Several works have proposed techniques to process data near memory by adding a small amount of compute logic closer to the main memory chips. In this article, we describe two techniques proposed by recent works that take this approach of processing in memory further by exploiting the underlying operation of the main memory technology to perform more complex tasks. First, we describe RowClone, a mechanism that exploits DRAM technology to perform bulk copy and initialization operations completely inside main memory. We then describe a complementary work that uses DRAM to perform bulk bitwise AND and OR operations inside main memory. These two techniques significantly improve the performance and energy efficiency of the respective operations.

연구 동기 및 목표

• 메모리 집약적인 워크로드에서 데이터 이동 지연과 에너지 소비를 줄이기 위해 DRAM 내부에서 직접 연산을 수행함으로써 성능 향상과 에너지 효율성 향상을 도모한다.
• 새로운 논리 회로를 추가하는 대신 기존 DRAM 주변 회로 구조를 활용하여 메모리 내 처리 능력을 비용 효율적으로 확장할 수 있는 방법을 탐색한다.
• 대량 복사 및 비트단위 AND/OR 연산과 같은 복잡한 연산이 최소한의 하드웨어 수정으로 기존 DRAM 아키텍처 내에서 효율적으로 실행될 수 있음을 입증한다.
• 실제 응용 분야인 범위 쿼리 및 비트맵 색인과 같은 분야에서 이러한 DRAM 내부 기법의 성능 및 에너지 효율성 향상 정도를 평가한다.

제안 방법

• RowClone는 DRAM의 내부 버스와 센스 앰프를 활용하여 외부 메모리로의 데이터 전송 없이 대량 데이터 복사 및 초기화를 수행하며, 이는 PSM(Pseudo-Static Memory) 기능을 활용한다.
• RowClone는 동일한 뱅크 내의 서브어레이 간에 두 번의 PSM 연산을 통해 데이터 이동을 수행함으로써 기존 메모리 접근 방식에 비해 에너지 소비와 지연을 감소시킨다.
• IDAO는 DRAM 센스 앰프의 아날로그 감지 기능을 활용하여 다수의 비트라인 전압을 동시에 감지하고, 대규모 비트벡터에 대해 병렬로 비트단위 AND 및 OR 연산을 수행한다.
• IDAO는 동시에 세 개의 레지스터를 활성화하고, 감지된 전압의 중첩을 이용해 논리 연산을 메모리 내부에서 직접 수행함으로써 프로세서로의 데이터 이동을 피한다.
• 이 기법들은 기존 DRAM 아키텍처에 최소한의 수정만으로도 구현 가능하며, 비트라인과 센스 앰프와 같은 기존 주변 회로 구조에 의존한다.
• 평가에서는 1개 또는 4개의 뱅크를 사용하여 보수적이고 공격적인 구성 조건을 설정하여, 다양한 지연 및 대역폭 제약 조건 하에서의 성능 상충 관계를 분석한다.

실험 결과

연구 질문

• RQ1 외부 메모리로의 데이터 이동 없이 DRAM 내부에서만 대량 복사 및 초기화 작업을 수행할 수 있는가?
• RQ2 기존 하드웨어 구조를 활용하여 대규모 비트벡터에 대한 비트단위 AND 및 OR 연산을 DRAM 내부에서 효율적으로 계산할 수 있는가?
• RQ3 이러한 DRAM 내부 실행 방식이 기존 외부 처리 방식에 비해 성능 및 에너지 효율성 향상에 얼마나 기여하는가?
• RQ4 다양한 구성(예: 뱅크 수, 활성화 전략 등)이 DRAM 내부 연산의 성능에 어떤 영향을 미치는가?

주요 결과

• RowClone는 대량 복사 및 초기화 작업에서 외부 메모리로의 데이터 이동을 완전히 제거하여 메모리 채널 전송을 제거함으로써 지연과 에너지 소비를 감소시킨다.
• IDAO는 동시에 행을 활성화하고 아날로그 감지를 활용하여 DRAM 내부에서 대량의 비트단위 AND 및 OR 연산을 수행함으로써 10배 이상의 성능 향상을 달성한다.
• 4개의 뱅크를 사용하는 공격적인 IDAO 구성은 기존 시스템 대비 평균 30% 향상된 범위 쿼리 성능을 보였다.
• 세 개의 행을 동시에 활성화하는 데 2배의 지연이 발생하더라도, 1개의 뱅크를 사용하는 보수적인 IDAO 메커니즘 역시 여전히 18%의 성능 향상을 달성했다.
• RowClone와 IDAO는 모두 외부 메모리 대역폭 사용을 크게 줄여 비트맵 색인 및 시스템 수준의 메모리 관리와 같은 데이터 집약적인 응용 분야에서 매우 효과적이다.
• 이 기법들은 최소한의 DRAM 아키텍처 수정과 기존에 존재하는 주변 구성 요소를 활용하므로 비용 효율적이고 확장 가능하다.