[論文レビュー] Write-Optimized and Consistent RDMA-based NVM Systems

Xinxin Liu, Yu Hua+2 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Memory and Neural Computing参考文献 26被引用数 4

ひとこと要約

Erda は、追加のネットワークラウンドトリップ、リモートCPUの関与、二重NVM書き込みを必要とせずに、1方向のRDMA書き込みにおけるリモートデータアトミック性（RDA）を保証するゼロコピーログ構造のメモリ設計である。不完全な書き込みを検出するためにCRCチェックサムを用い、8バイトのアトミックメタデータ更新により、ErdaはNVMへの書き込みを約50％削減するとともに、リドログやリードアフターライト方式と比較してスループットを向上させ、遅延を低減する。

ABSTRACT

In order to deliver high performance in cloud computing, we generally exploit and leverage RDMA (Remote Direct Memory Access) in networking and NVM (Non-Volatile Memory) in end systems. Due to no involvement of CPU, one-sided RDMA becomes efficient to access the remote memory, and NVM technologies have the strengths of non-volatility, byte-addressability and DRAM-like latency. In order to achieve end-to-end high performance, many efforts aim to synergize one-sided RDMA and NVM. Due to the need to guarantee Remote Data Atomicity (RDA), we have to consume extra network round-trips, remote CPU participation and double NVM writes. In order to address these problems, we propose a zero-copy log-structured memory design for Efficient Remote Data Atomicity, called Erda. In Erda, clients directly transfer data to the destination address at servers via one-sided RDMA writes without redundant copy and remote CPU consumption. To detect the incompleteness of fetched data, we verify a checksum without client-server coordination. We further ensure metadata consistency by leveraging an 8-byte atomic update in the hash table, which also contains the address information for the stale data. When a failure occurs, the server properly restores to a consistent version. Experimental results show that compared with Redo Logging (a CPU involvement scheme) and Read After Write (a network dominant scheme), Erda reduces NVM writes approximately by 50%, as well as significantly improves throughput and decreases latency.

研究の動機と目的

• リモートデータアトミック性（RDA）を保証する際、追加のネットワークラウンドトリップ、CPU消費、二重NVM書き込みが生じるRDMAベースのNVMシステムにおける高いネットワークオーバーヘッドを是正すること。
• リモートCPUの協調を回避し、エンドツーエンドの一貫性と低遅延を実現する1方向のRDMA書き込みによるNVMへのアクセスを可能にすること。
• 不要なコピーと永続的ログのオーバーヘッドを排除することで、NVMへの書き込み増幅を低減すること。
• チェックサムを用いた不整合検出とアトミックメタデータ更新により、障害発生後もデータの一貫性を保証すること。
• 永続性やアトミック性を損なわず、1方向のRDMAとNVMを効果的に統合することで、クラウドワークロードにおける高いパフォーマンスを達成すること。

提案手法

• Erda はクライアントが1方向のRDMAを介して直接サーバーNVMにデータを書き込むログ構造の設計を採用し、中間バッファやサーバーCPUを迂回する。
• 各データオブジェクトには、後続の読み取り操作中に不完全または破損した書き込みを検出するためのCRCチェックサムが含まれる。
• メタデータ更新は、ハッシュテーブルに格納された新しいデータアドレスと以前のバージョンのアドレスを保持する8バイトのアトミック書き込みを用いる。
• チェックサム検証により不完全な書き込みが検出された場合、クライントはハッシュテーブルに格納されたアドレスを用いて以前のバージョンを再読み込みする。
• サーバーは、格納された以前のバージョンとアトミックメタデータ更新を用いて、不整合を検出し、一貫性のある状態に回復する。
• アトミック性のためのログや協調処理を必要としないため、追加のネットワークラウンドトリップを回避し、二重NVM書き込みも排除する。

実験結果

リサーチクエスチョン

• RQ1 1方向のRDMAベースのNVMシステムにおいて、追加のネットワークラウンドトリップを伴わずにリモートデータアトミック性（RDA）を保証する方法は何か？
• RQ2 リモートCPUの関与や不要なデータコピーなしに、リモートデータアトミック性を達成できるか？
• RQ3 NVMへの書き込み増幅を低減しつつ、一貫性を維持するためのメカニズムは何か？
• RQ4 ゼロコピーリモート直接環境において、不完全または不整合な書き込みを効率的に検出し、回復するためのメカニズムは何か？
• RQ5 チェックサムとアトミックメタデータ更新を備えたログ構造の設計は、RDMA-NVMシステムにおいてパフォーマンスと一貫性の両方を達成できるか？

主な発見

• Erda は、不要な書き込みとログの削除により、リドログやリードアフターライト方式と比較してNVMへの書き込みを約50％削減する。
• ネットワークラウンドトリップの削減とリモート操作に伴うCPUオーバーヘッドの低減により、スループットが顕著に向上する。
• 中間バッファリングやCPU処理を経由しないため、データが直接NVMに書き込まれるため、遅延が低減する。
• チェックサム検証と8バイトのアトミックメタデータ更新により、障害発生後もリモートデータアトミック性を実現し、一貫性を保証する。
• 永続的ログやバッファコピーを必要としないため、二重NVM書き込みを回避し、NVMの耐久性とパフォーマンスが向上する。
• ソースコードは公開されており、再現性の確保とさらなるシステム統合を可能にする。