[论文解读] Enabling Efficient RDMA-based Synchronous Mirroring of Persistent Memory Transactions

Arash Tavakkol, Aasheesh Kolli+11 more|arXiv (Cornell University)|Oct 22, 2018

Advanced Data Storage Technologies参考文献 25被引用 5

一句话总结

本文提出了一组新的RDMA原语以及两种新技术——有序缓冲和非临时远程写入——以实现持久内存事务的高效、同步镜像。通过利用RDMA的异步能力并改进顺序性和持久性保证，作者分别在远程提交基础上实现了1.8倍和2.9倍的性能提升。

ABSTRACT

Synchronous Mirroring (SM) is a standard approach to building highly-available and fault-tolerant enterprise storage systems. SM ensures strong data consistency by maintaining multiple exact data replicas and synchronously propagating every update to all of them. Such strong consistency provides fault tolerance guarantees and a simple programming model coveted by enterprise system designers. For current storage devices, SM comes at modest performance overheads. This is because performing both local and remote updates simultaneously is only marginally slower than performing just local updates, due to the relatively slow performance of accesses to storage in today's systems. However, emerging persistent memory and ultra-low-latency network technologies necessitate a careful re-evaluation of the existing SM techniques, as these technologies present fundamentally different latency characteristics compared than their traditional counterparts. In addition to that, existing low-latency network technologies, such as Remote Direct Memory Access (RDMA), provide limited ordering guarantees and do not provide durability guarantees necessary for SM. To evaluate the performance implications of RDMA-based SM, we develop a rigorous testing framework that is based on emulated persistent memory. Our testing framework makes use of two different tools: (i) a configurable microbenchmark and (ii) a modified version of the WHISPER benchmark suite, which comprises a set of common cloud applications. Using this framework, we find that recently proposed RDMA primitives, such as remote commit, provide correctness guarantees, but do not take full advantage of the asynchronous nature of RDMA hardware. To this end, we propose new primitives enabling efficient and correct SM over RDMA, and use these primitives to develop two new techniques delivering high-performance SM of persistent memories.

研究动机与目标

• 为解决持久内存系统中本地更新与远程更新之间日益扩大的性能差距，其中传统同步镜像（SM）变得代价过高。
• 评估在持久内存工作负载中使用RDMA进行SM的性能影响，鉴于RDMA的顺序性和持久性保证有限。
• 设计新的硬件原语和系统技术，充分利用RDMA的异步特性，实现高效且正确的持久内存SM。
• 通过新兴的持久内存和低延迟网络，在企业存储系统中实现高性能、强一致性的数据复制。

提出的方法

• 开发了一个严格的测试框架，使用模拟的持久内存，结合可配置的微基准测试和修改后的WHISPER基准测试套件（支持SM）。
• 提出两种新的SM技术：(1) 有序缓冲，用于管理远程写入的顺序；(2) 非临时远程写入，确保持久性和顺序性而不阻塞。
• 设计了新的RDMA原语，将顺序性和持久性与远程写入执行解耦，从而实现并发且高效的数据显示复制。
• 将新技术与基于远程提交的基线进行对比评估，测量在不同云工作负载下，具有不同写入模式和事务结构的性能表现。
• 使用微基准测试和真实应用程序（如echo、hashmap）分析写入频率、周期大小和事务特征，以指导优化。
• 通过利用RDMA的一端、异步内存访问模型，最小化远程更新开销，同时确保崩溃一致性。

实验结果

研究问题

• RQ1 现有的RDMA原语（如远程提交）如何影响持久内存系统中同步镜像的性能和正确性？
• RQ2 在多大程度上可以利用RDMA硬件的异步特性来提升持久内存镜像的性能？
• RQ3 为确保基于RDMA的SM在持久内存中实现正确的顺序性和持久性，需要哪些新的原语和系统技术？
• RQ4 不同应用程序工作负载（尤其是低写入频率和细粒度更新）如何影响不同SM设计的性能表现？
• RQ5 新SM技术是否能在保持强一致性保证的前提下，实现比基于远程提交的SM更高的吞吐量和更低的延迟？

主要发现

• 所提出的有序缓冲技术在端到端应用性能上比基于远程提交的SM快1.8倍。
• 非临时远程写入技术相比远程提交基线实现了2.9倍的性能提升。
• 写入频率较低（例如每周期1.4次写入）且更新细粒度（通常每周期一个缓存行）的工作负载从新技术中获益最多。
• 远程提交虽然正确，但未能充分利用RDMA的异步能力，导致不必要的序列化和性能瓶颈。
• 随着持久内存的引入，本地与远程更新之间的性能差距显著扩大，使得高效的SM对系统可行性至关重要。
• 新原语和技术有效实现了顺序性和持久性与远程写入执行的解耦，从而实现了高并发性和低延迟。