[論文レビュー] Enabling Efficient RDMA-based Synchronous Mirroring of Persistent Memory Transactions

Arash Tavakkol, Aasheesh Kolli+11 more|arXiv (Cornell University)|Oct 22, 2018

Advanced Data Storage Technologies参考文献 25被引用数 5

ひとこと要約

本論文は、効率的で同期的な永続メモリトランザクションミラーリングを実現するための新しいRDMAプリミティブおよび2つの新技術——順序バッファリングと非一時的リモート書き込み——を提案する。RDMAの非同期機能を活用し、順序付けと耐久性の保証を強化することで、著者らはそれぞれリモートコミットベースのSMに対して1.8倍および2.9倍の性能向上を達成した。

ABSTRACT

Synchronous Mirroring (SM) is a standard approach to building highly-available and fault-tolerant enterprise storage systems. SM ensures strong data consistency by maintaining multiple exact data replicas and synchronously propagating every update to all of them. Such strong consistency provides fault tolerance guarantees and a simple programming model coveted by enterprise system designers. For current storage devices, SM comes at modest performance overheads. This is because performing both local and remote updates simultaneously is only marginally slower than performing just local updates, due to the relatively slow performance of accesses to storage in today's systems. However, emerging persistent memory and ultra-low-latency network technologies necessitate a careful re-evaluation of the existing SM techniques, as these technologies present fundamentally different latency characteristics compared than their traditional counterparts. In addition to that, existing low-latency network technologies, such as Remote Direct Memory Access (RDMA), provide limited ordering guarantees and do not provide durability guarantees necessary for SM. To evaluate the performance implications of RDMA-based SM, we develop a rigorous testing framework that is based on emulated persistent memory. Our testing framework makes use of two different tools: (i) a configurable microbenchmark and (ii) a modified version of the WHISPER benchmark suite, which comprises a set of common cloud applications. Using this framework, we find that recently proposed RDMA primitives, such as remote commit, provide correctness guarantees, but do not take full advantage of the asynchronous nature of RDMA hardware. To this end, we propose new primitives enabling efficient and correct SM over RDMA, and use these primitives to develop two new techniques delivering high-performance SM of persistent memories.

研究の動機と目的

• 永続メモリシステムにおけるローカル更新とリモート更新の間の性能ギャップが拡大する状況に対処する。伝統的な同期ミラーリング（SM）は、そのコストが非常に高くなるため、これに起因する。
• RDMAの順序付けおよび耐久性の保証が限られている状況を考慮し、永続メモリワークロードにおけるSMにRDMAを使用する性能への影響を評価する。
• RDMAの非同期的性質を最大限に活用できるように、新しいハードウェアプリミティブおよびシステム技術を設計し、永続メモリ上の効率的で正しいSMを実現する。
• 新興の永続メモリおよび低遅延ネットワークを活用して、エントレープライズストレージシステムにおける高パフォーマンスで強一貫性を持つデータレプリケーションを可能にする。

提案手法

• エミュレートされた永続メモリを用いた包括的なテストフレームワークを構築し、構成可能なマイクロベンチマークと、SM対応を施した変更版WHISPERベンチマークスイートを統合した。
• 2つの新しいSM技術を提案した：(1) リモート書き込みの順序付けを管理するための順序バッファリング、および(2) ブロッキングを伴わずに耐久性と順序付けを保証する非一時的リモート書き込み。
• リモート書き込み実行からの順序付けと耐久性を分離する新しいRDMAプリミティブを設計し、並列かつ効率的なデータレプリケーションを可能にした。
• 異なるクラウドワークロードにおいて、さまざまな書き込みパターンとトランザクション構造を想定し、新技術をリモートコミットベースの基準と比較して性能を評価した。
• マイクロベンチマークおよび実世界のアプリケーション（例：echo、hashmap）を用いて、書き込み頻度、エポックサイズ、トランザクション特性を分析し、最適化の指針とした。
• クラッシュ一貫性を保証しつつ、RDMAの片側的で非同期なメモリアクセスモデルを活用して、リモート更新のオーバーヘッドを最小限に抑えることに注力した。

実験結果

リサーチクエスチョン

• RQ1 リモートコミットなどの既存のRDMAプリミティブは、永続メモリシステムにおける同期ミラーリングの性能と正しさにどのように影響を与えるか？
• RQ2 RDMAハードウェアの非同期的性質をどの程度活用することで、永続メモリミラーリングの性能を向上させられるか？
• RQ3 永続メモリ向けのRDMAベースのSMにおいて、正しい順序付けと耐久性を確保するために、どのような新しいプリミティブおよびシステム技術が必要か？
• RQ4 特に低頻度の書き込みと細粒度の更新を伴うアプリケーションワークロード—これらは性能にどのように影響を与えるか？
• RQ5 新しいSM技術は、強一貫性の保証を維持しつつ、スループットとレイテンシの面でリモートコミットベースのSMを上回ることができるか？

主な発見

• 提案された順序バッファリング技術は、エンドツーエンドのアプリケーションパフォーマンスにおいて、リモートコミットベースのSMを1.8倍上回った。
• 非一時的リモート書き込み技術は、リモートコミットベースの基準に対して2.9倍の性能向上を達成した。
• 低頻度の書き込み（例：1エポックあたり1.4回程度）および細粒度の更新（しばしば1エポックあたり1キャッシュライン程度）を伴うワークロードが、新技術の恩恵を最も大きく受けた。
• リモートコミットは正しくはあったが、RDMAの非同期的機能を十分に活用できず、不要なシリアライズーションとパフォーマンスボトルネックを引き起こしていた。
• 永続メモリを用いる場合、ローカル更新とリモート更新の性能ギャップは顕著に拡大し、効率的なSMがシステムの実用性を左右する。
• 新規のプリミティブおよび技術は、順序付けと耐久性をリモート書き込み実行から明確に分離し、高い並列性と低レイテンシを実現した。