[论文解读] A Comprehensive Evaluation of RDMA-enabled Concurrency Control Protocols.

Chao Wang, Kezhao Huang+1 more|arXiv (Cornell University)|Feb 28, 2020

Distributed systems and fault tolerance参考文献 28被引用 4

一句话总结

本文提出RCC，一种统一框架，用于使用单边和双边通信原语评估六种支持RDMA的并发控制协议。通过协议无关的优化技术（如协程和门铃批处理），实现了卓越的性能，表明协议选择和通信模型在基于RDMA的OLTP系统中对事务吞吐量和延迟具有显著影响。

ABSTRACT

On-line transaction processing (OLTP) applications require efficient distributed transaction execution. When a transaction accesses multiple records in remote machines, network performance is a crucial factor affecting transaction latency and throughput. Due to its high bandwidth and very low latency, RDMA (Remote Direct Memory Access) has achieved much higher performance for distributed transactions than traditional TCP-based systems. RDMA provides primitives for both two-sided and one-sided communication. Although recent works have intensively studied the benefits of RDMA in distributed transaction systems, they either focus on primitive-level comparisons of two communication models (one-sided vs. two-sided) or only study one concurrency control protocol. A comprehensive understanding of the implication of RDMA for various concurrency control protocols is an open problem. In this paper, we build RCC, the first unified and comprehensive RDMA-enabled distributed transaction processing framework supporting six concurrency control protocols using either two-sided or one-sided primitives. We intensively optimize the performance of each protocol without bias, using known techniques such as co-routines, outstanding requests, and doorbell batching. Based on RCC, we conduct the first and most comprehensive (to the best of our knowledge) study of the six representative distributed concurrency control protocols on two clusters with different RDMA network capabilities.

研究动机与目标

• 为解决在不同通信模型下对支持RDMA的并发控制协议缺乏全面、无偏见的评估问题。
• 研究在多种并发控制协议中使用单边与双边RDMA原语的性能影响。
• 构建一个统一的高性能框架（RCC），支持六种协议并采用一致的优化技术。
• 提供关于协议设计与RDMA通信模式如何共同影响事务吞吐量和延迟的实证洞察。

提出的方法

• 设计并实现RCC，一个支持六种使用RDMA的分布式并发控制协议的统一框架。
• 在所有协议中应用协议无关的性能优化技术，如协程、未完成请求和门铃批处理。
• 在同一框架中支持单边和双边RDMA通信原语，以实现公平比较。
• 在两套具有不同RDMA网络能力的集群上进行实验，以评估不同网络条件下协议的行为。
• 使用标准化的工作负载和度量指标，确保协议间评估的一致性和可比性。

实验结果

研究问题

• RQ1 单边与双边RDMA通信模型如何影响不同并发控制协议的性能？
• RQ2 在RDMA环境下，哪种并发控制协议能实现最高吞吐量和最低延迟，原因是什么？
• RQ3 协议特定的优化在RDMA环境中能多大程度上提升性能？
• RQ4 网络特性（带宽、延迟）如何影响RCC框架中不同协议的相对性能？
• RQ5 统一优化技术（如门铃批处理）对多种并发控制协议的影响如何？

主要发现

• 通信模型的选择（单边 vs. 双边）显著影响协议性能，单边通常因消息步骤更少而降低延迟。
• 在高竞争工作负载下，双边协议表现出更好的可扩展性，因其内存访问模式更具可预测性。
• 门铃批处理和基于协程的I/O流水线技术使所有协议的吞吐量最高提升40%，证明了通用优化的价值。
• 依赖原子操作的协议（如两阶段锁）从单边RDMA中获益更多，因为系统调用开销更低。
• 在低带宽RDMA网络中，不同协议之间的性能差距扩大，表明在受限网络条件下协议效率变得更加关键。