[论文解读] FluidMem: Memory as a Service for the Datacenter

Blake Caldwell, Youngbin Im+3 more|arXiv (Cornell University)|Jul 25, 2017

Cloud Computing and Resource Management参考文献 27被引用 5

一句话总结

FluidMem 为数据中心引入了一个完整的内存即服务（MaaS）系统，通过 Linux 的 userfaultfd 和热插拔内存机制，使标准应用程序能够透明地访问远程内存。它支持未经修改的工作负载，如 MongoDB、基因组拼接器、Spark 和 Graph500，证明即使在超过本地物理内存限制的情况下，也能无需修改应用程序即可暴露远程内存。

ABSTRACT

Disaggregating resources in data centers is an emerging trend. Recent work has begun to explore memory disaggregation, but suffers limitations including lack of consideration of the complexity of cloud-based deployment, including heterogeneous hardware and APIs for cloud users and operators. In this paper, we present FluidMem, a complete system to realize disaggregated memory in the datacenter. Going beyond simply demonstrating remote memory is possible, we create an entire Memory as a Service. We define the requirements of Memory as a Service and build its implementation in Linux as FluidMem. We present a performance analysis of FluidMem and demonstrate that it transparently supports remote memory for standard applications such as MongoDB and genome sequencing applications.

研究动机与目标

• 解决缺乏可生产部署、支持异构硬件和现有云 API 的内存拆分系统的问题。
• 在不修改应用程序或操作系统的情况下，为扩展型和横向扩展型应用程序提供透明的远程内存访问。
• 提供一个完整的、可生产部署的内存即服务（MaaS）实现，支持虚拟机中的动态内存扩展。
• 支持多种后端内存存储（例如 RAMCloud、键值存储）和真实数据中心环境中的异构网络。
• 通过热插拔直接向应用程序暴露物理远程内存，支持内存感知优化，并防止 OOM 失败。

提出的方法

• 利用 Linux 的 userfaultfd 机制在用户空间处理页错误，无需内核修改即可实现灵活且异步的远程内存访问。
• 与 Linux 热插拔内存接口集成，动态扩展虚拟机中的虚拟内存，使应用程序能够像使用本地内存一样使用远程内存。
• 设计分层架构，其中远程内存由键值存储（例如 RAMCloud）支持，抽象底层存储和网络栈。
• 通过可插拔接口支持多种后端内存存储（论文中评估了三种），实现优化和异构性。
• 采用基于虚拟机的部署模型，确保与现有云基础设施的兼容性，避免应用程序级别的修改。
• 通过在虚拟内存页错误处理层插入远程内存抽象，实现透明内存访问，避免干扰应用程序或操作系统的语义。

实验结果

研究问题

• RQ1 能否构建一个完整的、可生产部署的内存即服务系统，使其在异构数据中心环境中支持未经修改的云应用程序？
• RQ2 如何以一种使应用程序无需代码更改即可检测并利用额外内存容量的方式暴露远程内存？
• RQ3 基于用户空间的远程内存系统在真实工作负载中的性能和可扩展性特征如何？
• RQ4 远程内存访问能否实现足够高效和可靠，以支持内存密集型、非分布式工作负载，如基因组拼接和数据库系统？
• RQ5 该系统如何在虚拟化云环境中处理动态内存扩展和隔离？

主要发现

• FluidMem 透明地使 MongoDB 能够使用远程内存，使其能够基于扩展后的容量优化内部内存管理机制。
• 基因组测序应用如 SOAPdenovo 和 Velvet 在仅配备 72GB 内存（60GB 本地，12GB 来自 FluidMem）的虚拟机上成功完成了人类第 14 号染色体的完整拼接，而原本因内存耗尽而会失败。
• Graph500 BFS 基准测试和 Apache Spark 在 FluidMem 上无需修改即可成功执行，证明了对内存密集型、不规则工作负载的支持。
• 远程内存访问延迟保持在 3–5 μs 范围内，符合先前研究确定的性能阈值，可实现最小性能下降。
• 通过热插拔实现透明内存扩展，使虚拟机能够动态访问超过单个节点可用物理内存的内存总量。
• 基于 userfaultfd 的处理机制支持多种后端键值存储，并支持并发和异步页错误处理，提升了可扩展性和响应能力。