[논문 리뷰] Accelerating Bulk Bit-Wise X(N)OR Operation in Processing-in-DRAM Platform

Shaahin Angizi, Deliang Fan|arXiv (Cornell University)|2019. 04. 11.

Advanced Memory and Neural Computing참고 문헌 35인용 수 6

한 줄 요약

이 논문은 고처리량 DRAM 내부 처리(PIM) 아키텍처인 DRIM을 제안한다. 이는 유사한 비트 라인에 저장된 두 연산자 간의 내장 연산을 가능하게 하는 새로운 이중행 활성화(DRA) 메커니즘을 활용하여 대량의 비트 단위 X(N)OR 연산을 가속화한다. 센스 앰프를 수정하고 동일한 비트 라인 상의 연산자 간의 메모리 내 연산을 가능하게 함으로써, DRIM은 CPU 대비 71배 높은 처리량과 GPU 대비 8.4배 높은 처리량을 달성했으며, 이는 이전 PIM 아키텍처 대비 최대 3.7배 높은 성능과 DDR4 데이터 복사 대비 69배 낮은 에너지 소비를 기록한다.

ABSTRACT

With Von-Neumann computing architectures struggling to address computationally- and memory-intensive big data analytic task today, Processing-in-Memory (PIM) platforms are gaining growing interests. In this way, processing-in-DRAM architecture has achieved remarkable success by dramatically reducing data transfer energy and latency. However, the performance of such system unavoidably diminishes when dealing with more complex applications seeking bulk bit-wise X(N)OR- or addition operations, despite utilizing maximum internal DRAM bandwidth and in-memory parallelism. In this paper, we develop DRIM platform that harnesses DRAM as computational memory and transforms it into a fundamental processing unit. DRIM uses the analog operation of DRAM sub-arrays and elevates it to implement bit-wise X(N)OR operation between operands stored in the same bit-line, based on a new dual-row activation mechanism with a modest change to peripheral circuits such sense amplifiers. The simulation results show that DRIM achieves on average 71x and 8.4x higher throughput for performing bulk bit-wise X(N)OR-based operations compared with CPU and GPU, respectively. Besides, DRIM outperforms recent processing-in-DRAM platforms with up to 3.7x better performance.

연구 동기 및 목표

• DNA 정렬 및 암호화와 같은 X(N)OR 및 덧셈 기반 워크로드를 가속화하는 데에 제한된 처리량을 보이는 기존 PIM 플랫폼의 문제를 해결한다.
• 복잡한 논리 연산을 위해 다중 사이클 연산과 행 초기화에 의존하는 이전 PIM 설계의 비효율성을 극복한다.
• 아날로그 연산을 활용하여 DRAM 서브어레이 내에서 직접 비트 단위 X(N)OR 연산을 고처리량으로 수행할 수 있도록 한다.
• 소자 변경을 최소화하여 일반 소비자용 DRAM과의 호환성을 유지하면서도 면적과 에너지 오버헤드를 최소화한다.
• CPU, GPU 및 최신 PIM 가속기인 Ambit와 DRISA와 비교하여 뚜렷한 성능 및 에너지 효율성 우수성을 입증한다.

제안 방법

• 동일한 DRAM 서브어레이 내 다른 워드라인에 저장된 두 연산자 간의 비트 단위 X(N)OR 연산을 가능하게 하는 이중행 활성화(DRA) 메커니즘을 도입한다.
• DRAM 서브어레이의 아날로그 동작을 활용하여, 이중행 활성화 중에 제어된 전하 공유를 통해 비트 라인 전압을 조작한다.
• 각 센스 앰프에 22개의 트anz이스터를 추가하여 이중행 활성화를 지원하고 선택적 활성화 및 전압 비교를 가능하게 하기 위해 센스 앰프를 수정한다.
• 최소한의 면적 비용으로 새로운 활성화 방식을 지원하기 위해 이중접촉 셀(DCC)을 도입하고 워드라인 드라이버를 4:12 MRD로 변경(기존 4:16 대비)한다.
• 제어 유닛(Ctrl)을 사용하여 활성화 신호를 생성하고 명령어 실행을 관리하며, 메모리 컨트롤러 사전 처리를 통한 페이지 테이블 번역을 지원하는 가상 주소 기반 기능을 제공한다.
• 공간 지역성을 극대화하고 메모리 모듈 간 데이터 이동을 최소화하기 위해 메모리 레이아웃과 인터리빙 전략을 최적화한다.

실험 결과

연구 질문

• RQ1 기존 CPU 및 GPU 플랫폼에 비해 대량의 비트 단위 X(N)OR 연산을 처리하는 데에 훨씬 높은 처리량을 달성할 수 있는 PIM 아키텍처가 가능한가?
• RQ2 이중행 활성화(DRA)와 같은 새로운 내장 연산 메커니즘이 X(N)OR 논리 연산을 위한 다중 사이클 및 행 초기화 기반 PIM 설계의 한계를 극복할 수 있는가?
• RQ3 신뢰성과 성능을 훼손하지 않으면서도 일반 DRAM에 X(N)OR 가속 기능을 통합할 경우 면적과 에너지 오버헤드는 어느 정도인가?
• RQ4 X(N)OR 기반 워크로드에서 DRIM은 Ambit 및 DRISA와 같은 기존 PIM 플랫폼에 비해 성능 및 에너지 효율성 면에서 어떻게 비교되는가?
• RQ5 3D 스택형 DRAM은 DRIM 기반 시스템의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• DRIM은 대량의 비트 단위 X(N)OR 연산에서 인텔 코어-i7 CPU 대비 평균 71배 높은 처리량과 NVIDIA GTX 1080Ti GPU 대비 8.4배 높은 처리량을 달성한다.
• Ambit 및 DRISA-1T1C와 같은 기존 PIM 플랫폼에 비해 DRIM은 X(N)OR 기반 워크로드에서 처리량 면에서 최대 3.7배 높은 성능을 기록한다.
• DRIM의 에너지 소비는 Ambit 대비 2.4배 감소했으며, DDR4 인터페이스를 통한 데이터 복사 대비 69배 낮아었다.
• 비트 단위 덧셈에 대해 DRIM은 Ambit 대비 약 2배, DRISA-1T1C 대비 약 1.7배, CPU 대비 약 27배의 에너지 절감 효과를 보였다.
• DRIM 기반 3D 스택형 DRAM은 HMC 2.0 성능을 약 13.5배 향상시켰다.
• DRIM의 총 면적 오버헤드는 DRAM 칩 면적의 약 9.3%로 추정되며, 주로 센스 앰프에 추가된 트랜지스터와 수정된 워드라인 드라이버에서 기인한다.