[論文レビュー] A Comprehensive Evaluation of RDMA-enabled Concurrency Control Protocols.

Chao Wang, Kezhao Huang+1 more|arXiv (Cornell University)|Feb 28, 2020

Distributed systems and fault tolerance参考文献 28被引用数 4

ひとこと要約

本稿では、ワンサイドおよびツーサイド通信プリミティブを用いた、6つのRDMA対応排他制御プロトコルを統合的に評価するためのフレームワークRCCを提案する。コルーチンやドアベルバッチ処理といったプロトコルに依存しない最適化により優れた性能を達成し、RDMAベースのOLTPシステムにおけるトランザクションスループットとレイテンシに、プロトコル選択と通信モデルの影響が顕著であることを示している。

ABSTRACT

On-line transaction processing (OLTP) applications require efficient distributed transaction execution. When a transaction accesses multiple records in remote machines, network performance is a crucial factor affecting transaction latency and throughput. Due to its high bandwidth and very low latency, RDMA (Remote Direct Memory Access) has achieved much higher performance for distributed transactions than traditional TCP-based systems. RDMA provides primitives for both two-sided and one-sided communication. Although recent works have intensively studied the benefits of RDMA in distributed transaction systems, they either focus on primitive-level comparisons of two communication models (one-sided vs. two-sided) or only study one concurrency control protocol. A comprehensive understanding of the implication of RDMA for various concurrency control protocols is an open problem. In this paper, we build RCC, the first unified and comprehensive RDMA-enabled distributed transaction processing framework supporting six concurrency control protocols using either two-sided or one-sided primitives. We intensively optimize the performance of each protocol without bias, using known techniques such as co-routines, outstanding requests, and doorbell batching. Based on RCC, we conduct the first and most comprehensive (to the best of our knowledge) study of the six representative distributed concurrency control protocols on two clusters with different RDMA network capabilities.

研究の動機と目的

• 異なる通信モデルを想定した、RDMA対応排他制御プロトコルの包括的かつ偏りのない評価が不足しているという問題に取り組む。
• 複数の排他制御プロトコルにわたり、ワンサイドとツーサイドのRDMAプリミティブを使用した場合の性能への影響を調査する。
• 6つのプロトコルをサポートする一貫性のある最適化手法を備えた統合的で高性能なフレームワーク（RCC）を構築する。
• プロトコル設計とRDMA通信パターンの相乗効果が、トランザクションスループットとレイテンシに与える影響についての実証的知見を提供する。

提案手法

• RDMAを用いた6つの分散排他制御プロトコルをサポートする統合フレームワークRCCの設計および実装。
• コルーチン、保留リクエスト、ドアベルバッチ処理などのプロトコルに依存しないパフォーマンス最適化を、すべてのプロトコルに適用。
• 公平な比較を可能にするために、同じフレームワーク内でワンサイドおよびツーサイドRDMA通信プリミティブを両方サポート。
• 異なるRDMAネットワーク能力を持つ2つのクラスタを用いて実験を行い、ネットワーク条件の違いがプロトコルの挙動に与える影響を評価。
• 標準化されたワークロードと測定メトリクスを用いることで、プロトコル間での一貫性と比較可能性を確保。

実験結果

リサーチクエスチョン

• RQ1 ワンサイドおよびツーサイドのRDMA通信モデルは、異なる排他制御プロトコルのパフォーマンスにどのように影響するか？
• RQ2 RDMA環境下で、どの排他制御プロトコルが最高のスループットと最小のレイテンシを達成するか、その理由は何か？
• RQ3 プロトコル固有の最適化は、RDMA環境下でどの程度パフォーマンスを向上させるか？
• RQ4 ネットワーク特性（帯域幅、レイテンシ）は、RCCフレームワーク内での異なるプロトコルの相対的パフォーマンスにどのように影響するか？
• RQ5 多様な排他制御プロトコルにわたって、統一された最適化技術（例：ドアベルバッチ処理）が及える影響は何か？

主な発見

• 通信モデルの選択（ワンサイド対ツーサイド）はプロトコルパフォーマンスに顕著な影響を与え、ワンサイドはメッセージステップが少ないためレイテンシが低くなる傾向がある。
• 高競合ワークロードではツーサイドプロトコルが、より予測可能なメモリアクセスパターンのおかげでスケーラビリティに優れた結果を示した。
• ドアベルバッチ処理およびコルーチンベースのI/Oパイプライン化により、すべてのプロトコルでスループットが最大40％向上し、汎用的最適化の価値を実証した。
• アトミック演算（例：2フェーズロック）に依存するプロトコルは、ワンサイドRDMAのおかげでシステムコールのオーバーヘッドが削減され、より大きな恩恵を受けた。
• 低帯域幅のRDMAネットワークでは、プロトコル間のパフォーマンス差が拡大したため、ネットワーク制約下ではプロトコルの効率性がより重要になることが示された。