[论文解读] RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing

Liu Ke, Udit Gupta+19 more|arXiv (Cornell University)|Dec 30, 2019

Caching and Content Delivery参考文献 62被引用 7

一句话总结

RecNMP 提出了一种轻量级、符合商品 DRAM 标准的近内存处理架构，用于加速个性化推荐系统中的稀疏嵌入操作。通过利用层级并行性、内存侧缓存和表感知调度，它在生产规模模型上实现了高达 9.8× 的内存延迟加速和 4.2× 的吞吐量提升，同时将内存能耗降低 45.8%。

ABSTRACT

Personalized recommendation systems leverage deep learning models and account for the majority of data center AI cycles. Their performance is dominated by memory-bound sparse embedding operations with unique irregular memory access patterns that pose a fundamental challenge to accelerate. This paper proposes a lightweight, commodity DRAM compliant, near-memory processing solution to accelerate personalized recommendation inference. The in-depth characterization of production-grade recommendation models shows that embedding operations with high model-, operator- and data-level parallelism lead to memory bandwidth saturation, limiting recommendation inference performance. We propose RecNMP which provides a scalable solution to improve system throughput, supporting a broad range of sparse embedding models. RecNMP is specifically tailored to production environments with heavy co-location of operators on a single server. Several hardware/software co-optimization techniques such as memory-side caching, table-aware packet scheduling, and hot entry profiling are studied, resulting in up to 9.8x memory latency speedup over a highly-optimized baseline. Overall, RecNMP offers 4.2x throughput improvement and 45.8% memory energy savings.

研究动机与目标

• 解决以不规则稀疏嵌入操作为主导的生产规模深度学习个性化推荐系统中的内存瓶颈问题。
• 克服现有加速技术依赖规则数据流模式和空间局部性的局限，这些技术不适用于稀疏嵌入工作负载。
• 设计一种实用、可扩展且能效高效的近内存处理解决方案，兼容商品 DDR4 DIMM，以支持大规模嵌入表（数十至数百 GB）。
• 通过软硬件协同设计，针对真实推荐工作负载的访问模式，优化系统级性能。
• 通过将嵌入操作卸载到内存侧处理单元，减少 CPU 缓存争用，从而提升整体推理吞吐量和效率。

提出的方法

• 在商品 DDR4 DRAM 上实现基于 DIMM 的近内存处理架构，将轻量级处理单元（PU）集成到内存缓冲芯片中。
• 通过在 DRAM 的多个内存层级之间分布嵌入表查找，利用 DRAM 中的层级并行性，实现稀疏嵌入向量的并发处理。
• 引入内存侧缓存以利用嵌入访问模式中的时间局部性，减少冗余的片外内存访问。
• 设计一种表感知的数据包调度机制，优先处理高访问频率的嵌入表，最小化 C/A 总线争用。
• 开发一种自定义的压缩 NMP 指令集，以减少控制和地址带宽开销，支持在小型嵌入向量上高效执行 Gather-Reduce 操作。
• 通过将 SLS 家族算子卸载到内存侧 PUs，同时将密集全连接（FC）操作保留在 CPU 上，实现系统级协同优化，降低 CPU 缓存压力。

实验结果

研究问题

• RQ1 近内存处理在多大程度上能够缓解以稀疏嵌入操作为主导的生产规模个性化推荐模型中的内存带宽瓶颈？
• RQ2 商品 DRAM 系统中的层级并行性如何实现对推荐模型中常见不规则稀疏内存访问模式的可扩展加速？
• RQ3 哪些软硬件协同设计技术能有效降低稀疏嵌入推理的内存访问延迟和能耗，而无需依赖专用的 3D/2.5D 内存堆栈？
• RQ4 当应用于具有高度不规则性的实际生产级嵌入追踪时，内存侧缓存和表感知调度能否显著提升性能？
• RQ5 与现有近内存或近数据加速解决方案相比，将轻量级处理单元集成到标准 DIMM 中，在性能和能效方面存在怎样的权衡？

主要发现

• RecNMP 在稀疏嵌入操作上的内存延迟相比高度优化的基线系统最高可实现 9.8× 的加速，主要得益于对层级并行性和内存侧缓存的有效利用。
• 该系统在代表性生产模型上实现了 4.2× 的整体推理吞吐量提升，同时将内存能耗降低 45.8%。
• 将 SLS 操作卸载到内存侧 PUs 可减少 CPU 缓存争用，使共置的全连接（FC）算子延迟最高降低 30%。
• RecNMP 的轻量级 PU 设计仅占用与同类 CGRA 解决方案（如 Chameleon）相比 4.1–6.5% 的面积和 4.6–5.9% 的功耗，表现出极高的能效。
• 该系统在层级数量上呈线性可扩展，且在不同向量大小和访问模式的稀疏嵌入模型中均保持一致的性能增益。
• RecNMP 通过利用层级并行性和对小型嵌入向量的支持，优于现有方案（如 TensorDIMM 和 Chameleon），而后者依赖空间局部性，难以处理小型向量。