[论文解读] Enabling the Adoption of Processing-in-Memory: Challenges, Mechanisms, Future Research Directions

Saugata Ghose, Kevin Hsieh+3 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Memory and Neural Computing参考文献 98被引用 39

一句话总结

本文通过提出两种机制——IMPICA 和 LazyPIM——解决了在采用三维堆叠 DRAM 的 Processing-in-Memory（PIM）架构中面临的关键挑战，实现了高效的虚拟内存支持与缓存一致性。通过在内存中直接执行地址转换与一致性管理，这些解决方案减少了片外通信，提升了内存密集型工作负载的性能与能效，同时不破坏共享内存编程模型。

ABSTRACT

Poor DRAM technology scaling over the course of many years has caused DRAM-based main memory to increasingly become a larger system bottleneck. A major reason for the bottleneck is that data stored within DRAM must be moved across a pin-limited memory channel to the CPU before any computation can take place. This requires a high latency and energy overhead, and the data often cannot benefit from caching in the CPU, making it difficult to amortize the overhead. Modern 3D-stacked DRAM architectures include a logic layer, where compute logic can be integrated underneath multiple layers of DRAM cell arrays within the same chip. Architects can take advantage of the logic layer to perform processing-in-memory (PIM), or near-data processing. In a PIM architecture, the logic layer within DRAM has access to the high internal bandwidth available within 3D-stacked DRAM (which is much greater than the bandwidth available between DRAM and the CPU). Thus, PIM architectures can effectively free up valuable memory channel bandwidth while reducing system energy consumption. A number of important issues arise when we add compute logic to DRAM. In particular, the logic does not have low-latency access to common CPU structures that are essential for modern application execution, such as the virtual memory and cache coherence mechanisms. To ease the widespread adoption of PIM, we ideally would like to maintain traditional virtual memory abstractions and the shared memory programming model. This requires efficient mechanisms that can provide logic in DRAM with access to CPU structures without having to communicate frequently with the CPU. To this end, we propose and evaluate two general-purpose solutions that minimize unnecessary off-chip communication for PIM architectures. We show that both mechanisms improve the performance and energy consumption of many important memory-intensive applications.

研究动机与目标

• 解决 PIM 架构中缺乏高效虚拟内存支持的问题，其中 PIM 逻辑无法访问基于 CPU 的 TLB 或页表遍历器。
• 解决在不频繁进行片外通信的前提下，维持 CPU 与 PIM 核心之间缓存一致性的挑战。
• 在保留传统共享内存编程模型的同时，实现 PIM 在真实系统中的无缝采用。
• 减少传统架构中 CPU 与内存之间数据移动所导致的性能与能效开销。
• 开发通用、可扩展的解决方案，支持多样化的内存密集型应用，同时不限制计算能力或要求进行架构层面的重大改动。

提出的方法

• IMPICA 使用内存内地址转换加速器，在 DRAM 内部完全执行指针追踪与虚拟地址到物理地址的转换，从而消除对 CPU 干预的需求。
• LazyPIM 采用推测执行与一致性消息压缩技术，最小化片外通信以实现缓存一致性，仅在必要时才延迟更新。
• 两种机制均设计用于在三维堆叠 DRAM 的约束条件下运行，充分利用内存与逻辑层之间的高带宽内部通信。
• 通过将转换与一致性逻辑直接嵌入内存的逻辑层，避免依赖基于 CPU 的虚拟内存结构（如 TLB 或页表遍历器）。
• IMPICA 通过缓存转换结果并利用内存芯片内的硬件辅助地址解析，加速指针追踪工作负载。
• LazyPIM 通过压缩一致性消息与使用推测性更新减少一致性开销，仅在必要时才验证更改。

实验结果

研究问题

• RQ1 如何在不依赖基于 CPU 的 TLB 或页表遍历器的前提下，高效地在 PIM 逻辑中执行虚拟地址转换？
• RQ2 哪些机制可以在最小化片外通信的前提下，维持 CPU 与 PIM 核心之间的缓存一致性？
• RQ3 PIM 架构能否在不破坏共享内存编程模型的前提下，支持通用、多线程的应用程序？
• RQ4 通过在三维堆叠 DRAM 中将计算更靠近数据，如何提升内存密集型工作负载的性能与能效？
• RQ5 哪些地址转换与一致性行为特征可以被利用以减少系统级通信开销？

主要发现

• IMPICA 通过在内存中执行地址转换，显著降低了指针追踪工作负载的延迟，避免了重复的片外请求至 CPU。
• LazyPIM 通过消息压缩与推测性更新，将片外一致性消息数量最多减少 70%，提升了系统效率。
• IMPICA 与 LazyPIM 均保持与标准共享内存编程模型的兼容性，支持无缝集成到现有应用栈中。
• 所提出的机制显著提升了图处理、数据库与链式数据结构等内存密集型应用的性能，并降低了能耗。
• 研究结果表明，通过采用低开销、内存内机制解决虚拟内存与一致性挑战，可极大加速 PIM 的实际部署。
• 评估结果表明，IMPICA 与 LazyPIM 的结合使 PIM 实现了接近最优的性能，且系统级通信极少，具备在真实场景中部署的可行性。