[论文解读] Bandana: Using Non-volatile Memory for Storing Deep Learning Models

Assaf Eisenman, Maxim Naumov+6 more|arXiv (Cornell University)|Nov 14, 2018

Caching and Content Delivery参考文献 20被引用 41

一句话总结

Bandana 使用非易失性内存（NVM）并配备小型 DRAM 缓存来存储推荐系统的嵌入向量，采用超图分区和微型缓存仿真以将 NVM 读取带宽提升 2–3×。

ABSTRACT

Typical large-scale recommender systems use deep learning models that are stored on a large amount of DRAM. These models often rely on embeddings, which consume most of the required memory. We present Bandana, a storage system that reduces the DRAM footprint of embeddings, by using Non-volatile Memory (NVM) as the primary storage medium, with a small amount of DRAM as cache. The main challenge in storing embeddings on NVM is its limited read bandwidth compared to DRAM. Bandana uses two primary techniques to address this limitation: first, it stores embedding vectors that are likely to be read together in the same physical location, using hypergraph partitioning, and second, it decides the number of embedding vectors to cache in DRAM by simulating dozens of small caches. These techniques allow Bandana to increase the effective read bandwidth of NVM by 2-3x and thereby significantly reduce the total cost of ownership.

研究动机与目标

• 降低大型推荐系统中嵌入表的 DRAM 使用量。
• 探索将 NVM 作为嵌入的首要存储以降低拥有成本（TCO）。
• 通过智能地组织数据和缓存来提升有效的 NVM 读取带宽。
• 评估分区与缓存策略以确定实际的性能提升。

提出的方法

• 评估嵌入读取的 NVM 读取带宽特性和块粒度（4 KB）。
• 应用两种嵌入向量分区策略：有监督的 SHP 超图分区与无监督的 K-means 聚类。
• 使用基于 LRU 的缓存，结合每个表的阈值 t，在预取后决定缓存哪些向量。
• 引入微型缓存以模拟多种缓存阈值并实时选择最佳策略。
• 引入影子缓存以接收预取向量并管理它们的驱逐影响。

实验结果

研究问题

• RQ1 NVM 是否能够以可接受的延迟和吞吐量存储大型嵌入表，用于实时推荐工作负载？
• RQ2 如何分区嵌入向量以最大化共同访问，从而提升 NVM 带宽？
• RQ3 哪些缓存和准入控制策略最能提高嵌入向量的 NVM 有效带宽？
• RQ4 微型缓存仿真是否能够可靠地配置每个表的缓存阈值以优化性能？

主要发现

• 与简单的 DRAM 替代相比，Bandana 将 NVM 的实际读取带宽提升大约 2–3×。
• 基于超图的有监督分区（SHP）通常在研究的工作负载中比无监督的 K-means 产生更高的带宽增益。
• 预取驱动的缓存需要精心管理；对所有预取向量进行简单缓存可能由于驱逐而降低性能。
• 微型缓存在低开销下实现接近理想的阈值选择，带宽增益接近oracle策略。
• Bandana 的有效性因访问模式而异于不同的嵌入表；一些表显示出较大的带宽增益，其他则较小。
• 使用 SHP 配合无限 DRAM 缓存演示了 NVM 作为嵌入主要存储介质的潜力。