[논문 리뷰] Enabling Practical Processing in and near Memory for Data-Intensive Computing

Onur Mutlu, Saugata Ghose외 2명|arXiv (Cornell University)|2019. 05. 02.

Parallel Computing and Optimization Techniques참고 문헌 86인용 수 7

한 줄 요약

이 논문은 데이터 집약적 워크로드에서 데이터 이동 에너지와 지연을 줄이기 위해 아날로그 DRAM 특성과 3D 스택드 메모리 기술을 활용하여 실용적인 프로세싱-인-메모리(PIM) 아키텍처를 제안한다. Tesseract를 통해 그래프 워크로드에서 최대 13.8× 성능 향상과 87% 에너지 절감을 입증하였으며, 경량 PIM 논리 회로를 통한 소비자 워크로드에서는 평균 55.4%의 에너지 절감을 달성하여 효율적이고 저비용의 PIM 도입을 가능하게 한다.

ABSTRACT

Modern computing systems suffer from the dichotomy between computation on one side, which is performed only in the processor (and accelerators), and data storage/movement on the other, which all other parts of the system are dedicated to. Due to this dichotomy, data moves a lot in order for the system to perform computation on it. Unfortunately, data movement is extremely expensive in terms of energy and latency, much more so than computation. As a result, a large fraction of system energy is spent and performance is lost solely on moving data in a modern computing system. In this work, we re-examine the idea of reducing data movement by performing Processing in Memory (PIM). PIM places computation mechanisms in or near where the data is stored (i.e., inside the memory chips, in the logic layer of 3D-stacked logic and DRAM, or in the memory controllers), so that data movement between the computation units and memory is reduced or eliminated. While the idea of PIM is not new, we examine two new approaches to enabling PIM: 1) exploiting analog properties of DRAM to perform massively-parallel operations in memory, and 2) exploiting 3D-stacked memory technology design to provide high bandwidth to in-memory logic. We conclude by discussing work on solving key challenges to the practical adoption of PIM.

연구 동기 및 목표

• 현대의 데이터 집약적 시스템에서 CPU와 주 메모리 간의 과도한 데이터 이동으로 인한 성능 및 에너지 병목 현상을 해결한다.
• 최근의 DRAM 및 3D 스택드 메모리 기술 발전을 기반으로 프로세싱-인-메모리(PIM)를 재평가하여 실현 가능한 솔루션으로서의 가능성을 탐색한다.
• 실제 워크로드에 적합한 성능과 에너지 효율성을 극대화하면서 면적과 에너지 오버헤드를 최소화하는 실용적인 PIM 아키텍처를 설계한다.
• 프로그래밍 모델, 런타임 지원, 코herency, 가상 메모리, 시스템 소프트웨어 통합 등 PIM 도입의 주요 과제를 해결한다.
• 대규모 그래프 처리 및 모바일 소비자 애플리케이션을 포함한 다양한 워크로드에서 PIM의 실현 가능성과 이점을 입증한다.

제안 방법

• 메모리 셀 내부에서 다수의 병렬 연산(예: 대량 복사, 초기화, 비트단위 연산)을 수행하기 위해 DRAM의 아날로그 특성을 활용한다.
• 고대역폭 논리 레이어를 DRAM 근처에 통합한 3D 스택드 메모리 아키텍처(예: HMC 유사 설계)를 활용하여 메모리 내 연산을 실현한다.
• 소비자 워크로드에서 흔히 발생하는 연산(예: memcpy, memset, 산술 연산, 비트단위 연산)에 최적화된 경량 PIM 논리—일반 목적 코어 또는 고정 기능 가속기—를 설계한다.
• 메모리에 직접 계산 집약적 연산(예: 정점 업데이트)을 오프로드하여 데이터 이동을 줄이는 PIM 기반 시스템인 Tesseract를 구현한다.
• 실제 워크로드 세트와 정확한 시뮬레이션을 활용하여 다양한 워크로드와 시스템 구성에서 PIM의 성능, 에너지 소비, 확장성 등을 평가한다.
• 컴파일러 지원, 런타임 스케줄링, 코herency 프로토콜, PIM 기반 시스템을 위한 가상 메모리 확장 기능 등을 통해 시스템 수준의 과제를 해결한다.

실험 결과

연구 질문

• RQ1 최소한의 하드웨어 변경으로도 DRAM의 아날로그 특성을 활용해 메모리 내에서 효율적이고 다수의 병렬 연산을 수행할 수 있는가?
• RQ2 3D 스택드 메모리 기술을 어떻게 활용하여 데이터 집약적 워크로드에 대해 고대역폭, 저지연의 메모리 내 연산을 제공할 수 있는가?
• RQ3 에너지 제약이 있는 시스템(예: 모바일 장치)에서 실용적인 도입을 가능하게 하기 위해 PIM 논리의 복잡도, 면적, 에너지 오버헤드 사이의 최적의 균형은 무엇인가?
• RQ4 실제 그래프 처리 및 소비자 워크로드에서 PIM는 데이터 이동을 얼마나 줄이고 성능 및 에너지 효율을 향상시킬 수 있는가?
• RQ5 다양한 응용 프로그램에서 효율적이고 확장성 있으며 투명한 PIM 사용을 가능하게 하기 위해 필요한 시스템 소프트웨어 및 프로그래밍 모델 확장은 무엇인가?

주요 결과

• Tesseract는 다섯 개인 대규모 그래프 처리 워크로드에서 기존 시스템 대비 평균 13.8× 성능 향상과 평균 87%의 에너지 절감을 달성한다.
• 소비자 워크로드에서는 PIM 기반 오프로딩을 통해 네 가지 널리 사용되는 애플리케이션(Chrome, TensorFlow Mobile, VP9 재생, 캡처)에서 평균 시스템 에너지를 55.4% 절감하고 실행 시간을 54.2% 단축시킨다.
• HMC 유사 3D 스택드 메모리 아키텍처에서 PIM 논리에 필요한 면적은 일반 목적 코어의 경우 최대 9.4%, 고정 기능 가속기의 경우 최대 35.4% 이내로, 가용 논리 면적의 일부에 불과하다.
• memcpy, memset, 기본 산술 연산과 같은 단순한 연산은 실세계 워크로드에서 흔히 발생하며 메모리 논리에서 최소한의 오버헤드로 효율적으로 구현될 수 있어 PIM의 적합한 대상이다.
• PIM 논리 통합으로 인해 데이터 이동이 크게 감소하였으며, 이는 모바일 장치에서 총 시스템 에너지의 62.7%를 차지하므로 PIM가 에너지 제약이 있는 시스템에 있어 핵심 솔루션임을 입증한다.
• 코herency, 가상 메모리, 프로그래밍 모델과 같은 시스템 수준의 과제는 소프트웨어 및 컴파일러 확장 기능을 통해 해결 가능하며, 이는 응용 프로그램 수준의 변경 없이 실용적인 PIM 배포를 가능하게 한다.