[论文解读] LazyPIM: Efficient Support for Cache Coherence in Processing-in-Memory Architectures

Amirali Boroumand, Saugata Ghose+8 more|arXiv (Cornell University)|Jun 10, 2017

Parallel Computing and Optimization Techniques参考文献 14被引用 17

一句话总结

LazyPIM 提出了一种用于处理内存（PIM）架构的推测性、基于签名的缓存一致性机制，通过将一致性检查批处理至内核完成时，减少了片外流量。通过使用压缩的一致性签名来检测冲突，并仅在必要时回滚，LazyPIM 相较于先前方法将平均性能提升 19.6%，片外流量减少 30.9%，能耗降低 18.0%。

ABSTRACT

Processing-in-memory (PIM) architectures have seen an increase in popularity recently, as the high internal bandwidth available within 3D-stacked memory provides greater incentive to move some computation into the logic layer of the memory. To maintain program correctness, the portions of a program that are executed in memory must remain coherent with the portions of the program that continue to execute within the processor. Unfortunately, PIM architectures cannot use traditional approaches to cache coherence due to the high off-chip traffic consumed by coherence messages, which, as we illustrate in this work, can undo the benefits of PIM execution for many data-intensive applications. We propose LazyPIM, a new hardware cache coherence mechanism designed specifically for PIM. Prior approaches for coherence in PIM are ill-suited to applications that share a large amount of data between the processor and the PIM logic. LazyPIM uses a combination of speculative cache coherence and compressed coherence signatures to greatly reduce the overhead of keeping PIM coherent with the processor, even when a large amount of sharing exists.We find that LazyPIM improves average performance across a range of data-intensive PIM applications by 19.6%, reduces off-chip traffic by 30.9%, and reduces energy consumption by 18.0%, over the best prior approaches to PIM coherence.

研究动机与目标

• 为解决传统缓存一致性协议在 PIM 架构中引起的高片外流量问题，该问题削弱了 PIM 的性能优势。
• 在处理器与 PIM 核心之间存在高数据共享的数据密集型工作负载中，实现高效且可扩展的缓存一致性。
• 在最小化一致性相关通信的同时，保持与传统多线程编程模型的兼容性。
• 在不牺牲正确性或性能的前提下，降低 PIM 系统中的能耗和片外带宽使用。

提出的方法

• LazyPIM 使用推测执行，PIM 核心在不立即发送一致性请求的情况下假设获得一致性权限。
• 在内核执行期间，它在 PIM 缓存中推测性地维护所有数据更新。
• 内核完成后，PIM 核心向处理器发送一个压缩的一致性签名，以检查是否存在冲突。
• 处理器使用该签名检测处理器是否在 PIM 内核读取数据后修改了任何数据。
• 如果检测到冲突，处理器将脏行刷新，PIM 内核将被重新执行。
• 使用压缩签名（例如 2K–8K 位）可减少误报，并最小化片外流量。

实验结果

研究问题

• RQ1 推测性、批处理的一致性机制是否能在不牺牲正确性的情况下减少 PIM 架构中的片外流量？
• RQ2 基于压缩一致性签名的冲突检测在最小化误报和回滚方面有多高效？
• RQ3 在具有高数据共享的数据密集型 PIM 工作负载中，推测性一致性在多大程度上能维持性能和能效？
• RQ4 签名大小的选择如何影响冲突检测准确性与片外通信开销之间的权衡？

主要发现

• 与最佳的先前一致性方法相比，LazyPIM 在数据密集型 PIM 应用中的平均性能提升了 19.6%。
• 通过批处理一致性检查并最小化实时一致性消息交换，它将片外流量减少了 30.9%。
• 由于通信开销降低和重执行次数减少，能耗降低了 18.0%。
• 使用 8K 位签名可将冲突率平均降低 30%，但会使片外流量增加 30–33%，因此 2K 位签名在整体上更高效。
• 2K 位签名配置在所有评估工作负载中均实现了性能与通信成本的最佳平衡。
• LazyPIM 在保持传统多线程编程模型的同时，实现了正确且高性能的 PIM 执行，而先前方法则需要采用限制性编程模型。