[论文解读] Combining Emulation and Simulation to Evaluate a Near Memory Key/Value Lookup Accelerator

Joshua Landgraf, Scott Lloyd+1 more|arXiv (Cornell University)|May 13, 2021

Radiation Effects in Electronics参考文献 11被引用 8

一句话总结

本文提出一种混合评估框架，结合硬件仿真与软件仿真，以优化面向混合内存堆栈（HMC）架构的近内存键值查找加速器。通过将HMC-Sim内存模型与基于SST的加速器仿真相结合，作者识别出多项优化措施——如128B键打包、更宽的互连总线以及提升请求并行度——使单个加速器的性能提升93%至136%，并在多个加速器部署下实现2.7至5.7倍的可扩展性，相较原始设计最高实现13倍加速。

ABSTRACT

Processing large numbers of key/value lookups is an integral part of modern server databases and other "Big Data" applications. Prior work has shown that hash table based key/value lookups can benefit significantly from using a dedicated hardware lookup accelerator placed near memory. However, previous evaluations of this design on the Logic in Memory Emulator (LiME) were limited by the capabilities of the hardware on which it was emulated, which only supports a single CPU core and a single near-memory lookup engine. We extend the emulation results by incorporating simulation to evaluate this design in additional scenarios. By incorporating an HMC simulation model, we design optimizations that better mitigate the effects of the HMC closed page policy and that better utilize the HMC's parallelism, improving predicted performance by an order of magnitude. Additionally, we use simulation to evaluate the scaling performance of multiple near-memory lookup accelerators. Our work employs an open source emulator LiME, open source simulatation infrastructure SST, and the open source HMC-Sim simulator.

研究动机与目标

• 评估近内存键值查找加速器的性能，突破仅依赖硬件仿真的局限。
• 识别在真实HMC内存约束（如关闭页策略与有限并行性）下提升性能的架构优化。
• 评估在模拟HMC环境中多个加速器并行部署时的可扩展性表现。
• 利用开源工具（LiME、SST、HMC-Sim）实现对内存优化加速器的精确、可复现且可扩展的评估。

提出的方法

• 本研究使用LiME硬件仿真器对单个近内存查找加速器进行建模，实现纳秒级精度的时序模拟。
• 基于SST框架构建软件仿真，将加速器与HMC-Sim内存模型集成，准确模拟HMC特有的行为，如存储体冲突与内存延迟。
• 键值存储实现为开放寻址哈希表，查找引擎从哈希索引开始处理探测序列。
• 优化措施包括将键批量打包为128B数据包、互连总线宽度加倍，以及提升最大并发内存请求数。
• 在均匀分布与Zipfian查询分布下评估性能，对比不同负载因子与内存模型下的结果。
• 通过1至8个加速器的测试评估可扩展性，分别使用真实HMC-Sim与理想化高带宽仿真内存模型，以分离带宽与并行性瓶颈的影响。

实验结果

研究问题

• RQ1 与简化内存模型相比，近内存键值查找加速器在真实HMC内存约束下的性能退化程度如何？
• RQ2 哪些架构优化可缓解HMC特有的瓶颈，如存储体冲突与内存并行性受限？
• RQ3 当在HMC上并行部署多个加速器实例时，其性能如何扩展？
• RQ4 在加速器性能方面，内存带宽或内存并行性哪个是主要瓶颈？

主要发现

• 128B键打包与更宽互连总线的组合使单个加速器性能最高提升136%，主要通过减少存储体冲突并提升内存吞吐量实现。
• 提升并发内存请求数使性能最高提升33%，表明请求级并行性是重要但非主导瓶颈。
• 双加速器部署使吞吐量提升63%至100%；四加速器再提升54%至92%；八加速器实现2.7至5.7倍的总体性能提升。
• 在较高负载因子下，性能扩展最为显著，此时CPU开销影响较小，内存并行性成为主导性能因素。
• 在理想化内存模型（128 GB/s带宽）下，单个加速器性能与HMC-Sim结果相差不超过5%，验证了仿真精度。
• 结果表明，在真实HMC条件下，多加速器部署的主要瓶颈是内存并行性，而非带宽。