[论文解读] Enabling Practical Processing in and near Memory for Data-Intensive Computing

Onur Mutlu, Saugata Ghose+2 more|arXiv (Cornell University)|May 2, 2019

Parallel Computing and Optimization Techniques参考文献 86被引用 7

一句话总结

本文提出实用的存内计算（PIM）架构，通过利用模拟DRAM特性与3D堆叠存储技术，减少数据密集型工作负载中的数据移动能耗与延迟。使用Tesseract在图计算工作负载中实现最高13.8倍性能提升与87%能耗降低；通过轻量级PIM逻辑在消费类工作负载中实现平均55.4%的能耗节省，推动高效、低开销的PIM应用。

ABSTRACT

Modern computing systems suffer from the dichotomy between computation on one side, which is performed only in the processor (and accelerators), and data storage/movement on the other, which all other parts of the system are dedicated to. Due to this dichotomy, data moves a lot in order for the system to perform computation on it. Unfortunately, data movement is extremely expensive in terms of energy and latency, much more so than computation. As a result, a large fraction of system energy is spent and performance is lost solely on moving data in a modern computing system. In this work, we re-examine the idea of reducing data movement by performing Processing in Memory (PIM). PIM places computation mechanisms in or near where the data is stored (i.e., inside the memory chips, in the logic layer of 3D-stacked logic and DRAM, or in the memory controllers), so that data movement between the computation units and memory is reduced or eliminated. While the idea of PIM is not new, we examine two new approaches to enabling PIM: 1) exploiting analog properties of DRAM to perform massively-parallel operations in memory, and 2) exploiting 3D-stacked memory technology design to provide high bandwidth to in-memory logic. We conclude by discussing work on solving key challenges to the practical adoption of PIM.

研究动机与目标

• 解决现代数据密集型系统中因CPU与主存间数据移动过多导致的性能与能耗瓶颈。
• 通过利用DRAM与3D堆叠存储技术的最新进展，重新评估存内计算（PIM）作为可行解决方案的潜力。
• 设计实用的PIM架构，在最小化面积与能耗开销的同时，最大化真实工作负载下的性能与能效。
• 克服PIM采用的关键挑战，包括编程模型、运行时支持、缓存一致性、虚拟内存及系统软件集成。
• 在多样化工作负载中证明PIM的可行性与优势，涵盖大规模图处理与移动消费类应用。

提出的方法

• 利用DRAM的模拟特性，在内存单元内直接执行大规模并行操作（如批量复制、初始化、按位操作）。
• 利用3D堆叠存储架构（如HMC类设计），在DRAM附近嵌入高带宽逻辑层，实现内存内计算。
• 设计轻量级PIM逻辑——包括通用核心或专用功能加速器——针对消费类工作负载中的常见操作（如memcpy、memset、算术运算、按位操作）进行优化。
• 实现Tesseract，一种基于PIM的图处理系统，将计算密集型操作（如顶点更新）直接卸载至内存，减少数据移动。
• 通过真实工作负载套件与精确仿真，评估PIM在多样化工作负载与系统配置下的性能、能耗与可扩展性。
• 通过编译器支持、运行时调度、一致性协议与PIM增强型虚拟内存扩展，解决系统级挑战。

实验结果

研究问题

• RQ1 能否利用DRAM的模拟特性，在硬件改动极小的前提下，在内存中高效执行大规模并行操作？
• RQ2 如何利用3D堆叠存储技术，为数据密集型工作负载提供高带宽、低延迟的内存内计算？
• RQ3 在功耗受限系统（如移动设备）中，PIM逻辑的复杂度、面积与能耗开销之间应如何实现最优平衡，以实现实际应用？
• RQ4 PIM在真实世界图处理与消费类工作负载中，能在多大程度上减少数据移动，并提升性能与能效？
• RQ5 为实现高效、可扩展且透明的PIM使用，各类应用所需的系统软件与编程模型扩展是什么？

主要发现

• Tesseract在五个大规模图处理工作负载中，平均实现13.8倍系统性能加速，能耗平均降低87%，相较传统系统。
• 在消费类工作负载中，基于PIM的卸载使平均能耗降低55.4%，执行时间减少54.2%，覆盖四个广泛使用应用（Chrome、TensorFlow Mobile、VP9播放与捕获）。
• PIM逻辑所需面积——无论为通用核心或专用加速器——分别不超过HMC类3D堆叠存储架构中可用逻辑面积的9.4%与35.4%。
• 像memcpy、memset与基础算术等简单操作，是PIM的理想目标，因其在真实工作负载中常见，且可在内存逻辑中以极低开销高效实现。
• PIM逻辑的集成显著减少了数据移动，而数据移动占移动设备总能耗的62.7%，验证了PIM作为功耗受限系统关键解决方案的有效性。
• 通过软件与编译器扩展，可有效解决缓存一致性、虚拟内存与编程模型等系统级挑战，实现无需应用代码修改的实用PIM部署。