[論文レビュー] Using RDMA for Lock Management

Yeounoh Chung, Erfan Zamanian|arXiv (Cornell University)|Jul 12, 2015

Distributed systems and fault tolerance参考文献 5被引用数 3

ひとこと要約

本論文は、RDMAを活用して分散ロックマネージャーにおけるサーバーCPUのボトル neck を回避するクライアント中心のロック管理設計を提案する。クライアントがロック状態に対して直接原子的RDMA操作（例：Compare-and-Swap、Fetch-and-Add）を実行できるようにすることで、従来の集中型設計と比較して、特に高競合状態下で最大10倍のスループット向上を達成する。

ABSTRACT

In this work, we aim to evaluate different Distributed Lock Management service designs with Remote Direct Memory Access (RDMA). In specific, we implement and evaluate the centralized and the RDMA-enabled lock manager designs for fast network settings. Experimental results confirms a couple of hypotheses. First, in the traditional centralized lock manager design, CPU is the bottleneck and bypassing CPU on client-to-server communication using RDMA results in better lock service perofrmance. Second, different lock manager designs with RDMA in consideration result in even better performance; we need to re-design lock management system for RDMA and fast networks.

研究の動機と目的

• 高ネットワーク負荷下における従来の集中型分散ロックマネージャー（DLM）におけるCPUボトル neck を解消すること。
• InfiniBand などの高速ネットワーク環境において、RDMA対応のロック管理が性能を著しく向上させることを評価すること。
• 片側RDMA操作を用いてクライアントがロック管理に参加する形でDLMを再設計することを検討すること。
• 従来のサーバー中心設計と、RDMAを介してロック制御をクライアントにオフロードする新しいクライアント中心設計を比較すること。

提案手法

• TCP/IP およびRDMA送受信バーブを低レベル通信に用いた従来のサーバー中心DLMを実装する。
• クライアントがRDMA片側操作（Compare-and-Swap、Fetch-and-Add、Read、Write）を用いて、サーバー上のロック状態を直接操作するクライアント中心DLMを設計する。
• 64ビットのロック状態ワードを用い、排他ロック所有権と共有ロック所有権を別々の32ビットフィールドで表現し、RDMAによる原子的更新を可能にする。
• ロック取得のリトライにバックオフ機構を導入し、状態を変更せずにロック状態を確認するためにRDMA Readを活用する。
• 40コアプロセッサを搭載した7台のマシンから構成されるInfiniBandクラスタを用い、クライアント数と競合率を変化させながらスループットを測定する。
• TCPベースのサーバー中心設計、RDMAベースのサーバー中心設計、およびクライアント中心設計の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 RDMAを用いてサーバーCPUをバイパスすることで、集中型DLMにおけるロックサービススループットが著しく向上するか？
• RQ2 RDMA操作を用いてクライアントをロック制御に参加させることで、従来のサーバー中心モデルと比較して性能が向上するか？
• RQ3 RDMA原子的操作を用いて実装した排他ロックと共有ロックの取得・解放プロトコルは、それぞれどのように性能を発揮するか？
• RQ4 RDMAを用いた場合、クライアント側のバックオフ戦略がロック取得性能に与える影響は何か？
• RQ5 高競合状態下において、クライアント中心のRDMAベースDLMのスループットは、従来のTCPベースおよびRDMAベースのサーバー中心DLMと比較してどのように異なるか？

主な発見

• 従来のTCPベースの集中型DLMでは、サーバーCPUの90％以上がカーネルメッセージ処理に消費されており、CPUが主要なボトル neck であることが確認された。
• RDMA送受信バーブを用いることでCPUオーバーヘッドが低減され、スループットが向上したが、サーバーは依然として性能ボトル neck であった。
• RDMA原子的操作を用いてロック制御をクライアントにオフロードするクライアント中心設計は、RDMA最適化済みのサーバー中心設計ですら10倍以上上回る性能を発揮した。
• クライアント数と競合率の増加に伴い、クライアント中心設計のスループットは顕著に良好にスケーリングされ、優れた水平スケーラビリティを示した。
• Compare-and-Swap や Fetch-and-Add などの原子的操作により、サーバーCPUの介入なしに効率的で低遅延のロック取得・解放が可能になった。
• リトライ中のステータスポーリングにRDMA Readを活用することで、共有ロックカウンターへの不要なインクリメントが回避され、正しさと性能の両方が向上した。