[論文レビュー] Exploiting Commutativity For Practical Fast Replication

Seo Jin Park, John K. Ousterhout|arXiv (Cornell University)|Oct 26, 2017

Distributed systems and fault tolerance参考文献 10被引用数 6

ひとこと要約

本稿では、可換性を活用することで1 RTTで線形化可能な更新を実現するレプリケーションプロトコルCURPを提案する。クライアントはプライマリの実行と並行して、ウォッチドッグレプリカに操作をレプリケートできる。RAMCloudでは、書き込み遅延を2倍に短縮し、スループットを4倍に向上させた。3ウェイレプリケーションでは、非レプリケート時のパフォーマンスと比較してわずか0.4 µsのオーバーヘッドを追加した。

ABSTRACT

Traditional approaches to replication require client requests to be ordered before making them durable by copying them to replicas. As a result, clients must wait for two round-trip times (RTTs) before updates complete. In this paper, we show that this entanglement of ordering and durability is unnecessary for strong consistency. Consistent Unordered Replication Protocol (CURP) allows clients to replicate requests that have not yet been ordered, as long as they are commutative. This strategy allows most operations to complete in 1 RTT (the same as an unreplicated system). We implemented CURP in the Redis and RAMCloud storage systems. In RAMCloud, CURP improved write latency by ~2x (13.8 us -> 7.3 us) and write throughput by 4x. Compared to unreplicated RAMCloud, CURP's latency overhead for 3-way replication is just 0.4 us (6.9 us vs 7.3 us). CURP transformed a non-durable Redis cache into a consistent and durable storage system with only a small performance overhead.

研究の動機と目的

• 強力な一貫性を損なわずに、一貫性のあるストレージシステムにおけるレプリケーション遅延を低減すること。
• 従来の2-RTTプロトコルで密接に結びついている順序付けと耐久性のフェーズを分離すること。
• キーバリューストアや分散ストレージなど、多数の操作が可換性を示すシステムにおいて、高速で耐久性のあるレプリケーションを可能にすること。
• ローカルな一貫性のある読み取りと、広域ネットワークを介したレプリケーションの一貫性を、最小限のパフォーマンスコストでサポートすること。

提案手法

• クライアントは、プライマリサーバーにリクエストを送信するのと並行して、1つ以上のウォッチドッグレプリカに操作をレプリケートする。
• プライマリは操作を実行し、完全なレプリケーションを待たずにクライアントに応答する。耐久性はウォッチドッグに依存する。
• 操作が可換性を満たし、正常にウォッチドッグによって確認された場合にのみ、耐久性があるとみなされる。非可換操作は依然として2 RTTを要する。
• プライマリがクラッシュした場合、ウォッチドッグ情報と通常のレプリカを組み合わせて一貫性のある状態を再構築する。
• 本プロトコルは、ステートマシンレプリケーションやネットワーク接続ストレージを含む任意のバックアップメカニズムと互換性があり、Raft や Viewstamped Replication などのコンSENSUSプロトコルとも統合可能である。
• ローカルウォッチドッグとの可換性チェックにより、ローカルバックアップからの強力な一貫性読み取りを実現し、ローカル読み取りでは0 RTTを達成する。

実験結果

リサーチクエスチョン

• RQ1 2 RTTから1 RTTにレプリケーション遅延を短縮しつつ、強力な一貫性を維持できるか？
• RQ2 可換性を活用することで、レプリケーションプロトコルにおける順序付けと耐久性のフェーズを分離できるか？
• RQ3 本アプローチは、RAMCloud や Redis のような高性能システムで効率的にスケーリング可能か？
• RQ4 本プロトコルは、プライマリバックアップ型とコンセンサスベースのシステムの両方へ適用可能であり、パフォーマンスや正しさを損なわずに行えるか？
• RQ5 広域ネットワーク遅延を伴うグローバルレプリケーション環境でも、本プロトコルは効果的に動作するか？

主な発見

• RAMCloudでは、CURPにより書き込み遅延が13.8 µsから7.3 µsに短縮され、2倍の改善が達成された。
• RAMCloudでは、CURPにより書き込みスループットが3.8倍に向上し、顕著なスケーラビリティの向上が示された。
• 3ウェイレプリケーションでは、非レプリケート時のRAMCloud（6.9 µs）と比較して、CURPはわずか0.4 µsのオーバーヘッドを追加した（7.3 µs）。
• Redisでは、CURPにより非耐久性の元のRedisと同等のパフォーマンスで、耐久性と一貫性のあるストレージを実現した。
• 非同期ネットワークでも、CURPは更新操作に対して1 RTTの遅延を達成し、このようなプロトコルとしては初の実現であった。
• Speculative Paxos や NOPaxos と比較して、CURPはわずか0.4 µsのオーバーヘッドを追加したが、それらは16–25 µsのオーバーヘッドを示しており、顕著に低い水準であった。