[论文解读] A neural network memory prefetcher using semantic locality

Leeor Peled, Uri Weiser+1 more|arXiv (Cornell University)|Mar 19, 2018

Parallel Computing and Optimization Techniques参考文献 47被引用 6

一句话总结

本文提出了一种基于神经网络的内存预取器，通过学习程序上下文与内存访问模式之间的相关性，利用语义局部性。通过在运行时对机器状态和程序状态进行训练，该预取器能够以平均30%的性能提升预测未来内存地址，在SPEC2006上表现优于最先进的启发式预取器，尤其在内核程序上最高达到4.6倍的加速，其优异的关联学习与模式检测能力使其表现更优。

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. We leverage recent advances in machine learning to propose a neural network prefetcher. We show that by observing program context, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and several microbenchmarks. We show that the prefetcher can deliver an average speedup of 30% for SPEC2006 (up to 2.7x) and up to 4.6x over kernels. We also present a high-level design of our prefetcher, explore the power, energy and area limitations, and propose several optimizations for feasibility. We believe that this line of research can further improve the efficiency of such neural networks and allow harnessing them for additional micro-architectural predictions.

研究动机与目标

• 探索神经网络是否能够超越基于启发式和强化学习的预取器，在捕捉复杂内存访问模式方面表现更优。
• 研究基于语义局部性的神经网络在动态、上下文感知内存预取中的可行性。
• 评估在现代处理器中实现神经网络预取器时，性能、功耗与面积之间的权衡。
• 识别适用于高效且精确地址预测的最优网络架构与量化策略。
• 证明神经网络能够将多种时空预取启发式方法统一为一个自适应学习引擎。

提出的方法

• 该预取器使用前馈神经网络，在运行时基于程序和机器上下文特征进行训练，以预测未来的内存访问。
• 输入特征包括程序计数器历史、寄存器状态和内存访问模式，经编码为向量以供网络处理。
• 网络通过反向传播进行训练，以最小化预测地址与实际未来地址之间的预测误差。
• 提出了一套高层微架构设计，包含对面积、功耗和能效的优化。
• 评估了量化技术（如3位权重）以降低精度并提升硬件可行性。
• 系统通过gem5仿真在SPEC2006、Graph500和手写内核上进行评估，支持动态训练。

实验结果

研究问题

• RQ1 神经网络能否有效学习并泛化传统时空预取器无法捕捉的复杂内存访问模式？
• RQ2 在多样化工作负载下，神经网络预取器相较于最先进的启发式和强化学习预取器，性能表现如何？
• RQ3 在可硬件实现的预取器中，网络大小、深度、精度与预测准确率之间的权衡关系如何？
• RQ4 量化对神经网络预取器的学习收敛性和预测准确率有何影响？
• RQ5 在哪些工作负载中，神经网络所捕捉的语义局部性能显著优于上下文-强化学习或启发式方法？

主要发现

• 该神经网络预取器在SPEC2006套件上实现了平均30%的性能提升，部分基准测试最高达到2.7倍加速。
• 在选定内核上，预取器最高实现4.6倍加速，显著优于基线和其他最先进的预取器。
• 在SPEC2006上，该预取器在性能增益方面优于GHB-PC/DC 43%、SMS 2倍、VLDP 2.9倍。
• 将量化精度降至3位时，多数基准测试性能下降极小，但MCF和gemsFDTD因收敛问题出现显著性能下降。
• 在具有复杂、动态变化数据结构的工作负载（如LBM、prim、matmul）中，神经网络表现优异，而上下文-强化学习因频繁状态变化而表现受限。
• 由于采用分布式权重存储，该预取器在大规模数据集场景下表现出更优的可扩展性，在长距离跳转和复杂遍历场景中优于上下文-强化学习。