[论文解读] DisaggRec: Architecting Disaggregated Systems for Large-Scale Personalized Recommendation

Ke Liu, Xuan Zhang+3 more|arXiv (Cornell University)|Dec 2, 2022

Cloud Computing and Resource Management被引用 5

一句话总结

DisaggRec 提出了一种大规模个性化推荐工作负载的去耦化系统架构，通过将计算与内存资源解耦，实现独立扩展并提升成本效率。通过为不断演化的模型工作负载优化资源配置，并支持异构硬件（如近内存处理），DisaggRec 相较于单体服务器将总体拥有成本（TCO）降低了高达 49.3%。

ABSTRACT

Deep learning-based personalized recommendation systems are widely used for online user-facing services in production datacenters, where a large amount of hardware resources are procured and managed to reliably provide low-latency services without disruption. As the recommendation models continue to evolve and grow in size, our analysis projects that datacenters deployed with monolithic servers will spend up to 12.4x total cost of ownership (TCO) to meet the requirement of model size and complexity over the next three years. Moreover, through in-depth characterization, we reveal that the monolithic server-based cluster suffers resource idleness and wastes up to 30% TCO by provisioning resources in fixed proportions. To address this challenge, we propose DisaggRec, a disaggregated system for large-scale recommendation serving. DisaggRec achieves the independent decoupled scaling-out of the compute and memory resources to match the changing demands from fast-evolving workloads. It also improves system reliability by segregating the failures of compute nodes and memory nodes. These two main benefits from disaggregation collectively reduce the TCO by up to 49.3%. Furthermore, disaggregation enables flexible and agile provisioning of increasing hardware heterogeneity in future datacenters. By deploying new hardware featuring near-memory processing capability, our evaluation shows that the disaggregated cluster achieves 21%-43.6% TCO savings over the monolithic server-based cluster across a three-year span of model evolution.

研究动机与目标

• 解决单体服务器在大规模推荐系统中的低效问题，其固定的计算-内存比例导致资源闲置并增加总体拥有成本（TCO）。
• 克服单体设计在处理计算与内存需求差异显著的快速演进推荐模型时的局限性。
• 通过解耦计算与内存节点，实现独立故障管理与动态备份资源配置，提升系统可靠性。
• 支持灵活、敏捷地配置异构硬件（如近内存处理 DRAM，NMP-DIMMs），以最大化成本与性能效率。
• 优化系统配置与任务调度，以满足生产环境中推荐工作负载对尾部延迟和可用性 SLA 的严格要求。

提出的方法

• 将计算节点（CNs）与内存节点（MNs）解耦，根据工作负载需求独立扩展计算与内存资源。
• 协同优化模型分区策略与去耦化节点配置，在满足延迟与可用性约束的前提下最小化成本。
• 利用基于 RDMA 的通信协议，实现 CN 与 MN 之间低延迟、高吞吐的远程内存访问。
• 在内存节点上引入轻量级处理（如 CPU 或 ASIC），以减少嵌入操作期间的数据移动与网络开销。
• 根据 CN 与 MN 故障率的差异，动态配置备份资源，以增强系统可靠性。
• 在多个推荐模型代际中评估系统性能与成本，对比单体与去耦化集群的表现。

实验结果

研究问题

• RQ1 在演化的推荐模型中，单体服务器中的资源闲置在多大程度上增加了总体拥有成本（TCO）？
• RQ2 去耦化系统架构在大规模推荐服务中如何提升成本效率与资源利用率？
• RQ3 在真实工作负载与故障模式下，去耦化对尾部延迟与系统可靠性有何影响？
• RQ4 去耦化如何促进新兴硬件（如近内存处理 DRAM）的有效集成与成本优化？
• RQ5 与单体服务器相比，去耦化集群在三年模型演进周期内的长期 TCO 节省是多少？

主要发现

• 单体服务器由于固定的计算-内存资源配置，TCO 最高增加 23.1%，且因容错性过度配置，额外增加高达 6.8% 的成本。
• DisaggRec 通过独立扩展计算与内存资源，将 TCO 降低 49.3%，显著减少闲置容量，并针对动态工作负载需求进行优化。
• 在三年模型演进周期中，去耦化集群相较单体集群实现 21% 至 43.6% 的 TCO 节省，尤其在采用 NMP-DIMMs 等新兴硬件时更为显著。
• DisaggRec 在保持近乎相同的吞吐量（降级小于 2%）的同时，显著提升了成本效率与可靠性。
• 通过灵活分配与减少内存带宽利用率不足，去耦化有效提升了近内存处理 DRAM 的利用率。
• 由于故障隔离，系统可靠性得到提升——计算节点的故障不会直接影响内存节点，反之亦然，从而支持针对性的恢复策略。