[论文解读] MicroRec: Accelerating Deep Recommendation Systems to Microseconds by Hardware and Data Structure Solutions.

Wenqi Jiang, Zhenhao He+10 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 61被引用 4

一句话总结

MicroRec 提出了一种针对深度推荐系统优化的硬件与数据结构推理引擎，通过重构数据结构并利用FPGA上的高带宽内存（HBM），显著降低了嵌入查找延迟。该方法在嵌入查找上实现了13.8–14.7倍的加速，在吞吐量上相比CPU基线提升2.5–5.4倍，将推理延迟从毫秒级降低至微秒级。

ABSTRACT

Deep neural networks are widely used in personalized recommendation systems. Unlike regular DNN inference workloads, recommendation inference is memory-bound due to the many random memory accesses needed to lookup the embedding tables. The inference is also heavily constrained in terms of latency because producing a recommendation for a user must be done in about tens of milliseconds. In this paper, we propose MicroRec, a high-performance inference engine for recommendation systems. MicroRec accelerates recommendation inference by (1) redesigning the data structures involved in the embeddings to reduce the number of lookups needed and (2) taking advantage of the availability of High-Bandwidth Memory (HBM) in FPGA accelerators to tackle the latency by enabling parallel lookups. We have implemented the resulting design on an FPGA board including the embedding lookup step as well as the complete inference process. Compared to the optimized CPU baseline (16 vCPU, AVX2-enabled), MicroRec achieves 13.8~14.7x speedup on embedding lookup alone and 2.5$~5.4x speedup for the entire recommendation inference in terms of throughput. As for latency, CPU-based engines needs milliseconds for inferring a recommendation while MicroRec only takes microseconds, a significant advantage in real-time recommendation systems.

研究动机与目标

• 解决推荐系统推理中因内存受限的嵌入查找导致的高延迟问题。
• 突破推理过程中嵌入表随机内存访问带来的性能瓶颈。
• 通过将推理延迟从毫秒级降至微秒级，实现实时推荐。
• 利用基于FPGA的高带宽内存（HBM）支持并行嵌入查找，提升吞吐量。
• 设计一个可满足生产级推荐工作负载的高吞吐量、超低延迟系统。

提出的方法

• 重构嵌入数据结构，以最小化推理过程中所需的内存查找次数。
• 利用FPGA加速器上的高带宽内存（HBM），实现对嵌入表的并行访问。
• 在FPGA上实现完整的推理流水线，包括嵌入查找和后续的神经网络计算。
• 优化内存访问模式，以降低HBM配备FPGA上的延迟并提升带宽利用率。
• 将优化后的数据结构与HBM访问机制整合为单一、端到端的推荐系统推理引擎。

实验结果

研究问题

• RQ1 如何通过数据结构优化降低深度推荐系统中嵌入查找的延迟？
• RQ2 FPGA上的HBM在多大程度上能够加速推荐推理中的并行嵌入查找？
• RQ3 与基于CPU的推理相比，采用FPGA加速设计可在吞吐量和延迟方面实现多大性能提升？
• RQ4 数据结构重构与HBM利用的结合能否实现亚微秒级的推理响应时间？
• RQ5 在推荐工作负载的延迟与吞吐量方面，所提出的MicroRec系统与优化后的CPU基线相比表现如何？

主要发现

• 与优化后的CPU基线（16 vCPU，支持AVX2）相比，MicroRec在嵌入查找性能上实现了13.8–14.7倍的加速。
• 与CPU基线相比，系统在完整推荐推理流水线上实现了2.5–5.4倍的更高吞吐量。
• 推理延迟从CPU上的毫秒级降低至MicroRec的微秒级，实现了实时推荐。
• FPGA上的HBM使用显著减少了内存访问瓶颈，实现了嵌入查找的高效并行化。
• FPGA上的端到端设计成功集成了优化后的数据结构与硬件加速，实现了低延迟推理。