[論文レビュー] Okapi: Causally Consistent Geo-Replication Made Faster, Cheaper and More Available

Diego Didona, Kristina Spirovska+1 more|arXiv (Cornell University)|Feb 14, 2017

Distributed systems and fault tolerance参考文献 27被引用数 12

ひとこと要約

Okapi は、ハイブリッド論理/物理時計と、時計ずれ遅延を排除しメタデータのオーバーヘッドを低減するための新規安定化プロトコルである Universal Stable Time (UST) を使用する、因果的整合性を保証する地理的にレプリケートされたキーバリューストアである。Cure よりも最大 3.5 倍低い遅延と 60% 減少したメタデータのオーバーヘッドを達成し、GentleRain よりも最大 2 つの数量級優れたパフォーマンスを実現する。

ABSTRACT

Okapi is a new causally consistent geo-replicated key- value store. Okapi leverages two key design choices to achieve high performance. First, it relies on hybrid logical/physical clocks to achieve low latency even in the presence of clock skew. Second, Okapi achieves higher resource efficiency and better availability, at the expense of a slight increase in update visibility latency. To this end, Okapi implements a new stabilization protocol that uses a combination of vector and scalar clocks and makes a remote update visible when its delivery has been acknowledged by every data center. We evaluate Okapi with different workloads on Amazon AWS, using three geographically distributed regions and 96 nodes. We compare Okapi with two recent approaches to causal consistency, Cure and GentleRain. We show that Okapi delivers up to two orders of magnitude better performance than GentleRain and that Okapi achieves up to 3.5x lower latency and a 60% reduction of the meta-data overhead with respect to Cure.

研究の動機と目的

• 物理時計を用いた因果的整合性を保証する地理的にレプリケートされたシステムにおける時計ずれが引き起こすパフォーマンス劣化を解消すること。
• 整合性や可用性を損なわずに、レプリケートされた更新のメタデータのオーバーヘッドを低減すること。
• ネットワークのパーティション発生時における可用性を向上させることで、グローバルな承認を受けた後のみリモート更新が可視化されることを保証すること。
• 高読み込み強度のワークロードを想定した本番環境に類似した状況下で、整合的因果的スナップショットに対する低遅延トランザクションリードを可能にすること。
• 依存関係の追跡と安定化プロトコルの見直しにより、パフォーマンス、リソース効率、可用性のバランスを図ること。

提案手法

• イベントにタイムスタンプを即座に割り当てるために、ハイブリッド論理/物理時計 (HLC) を採用し、物理時計の収束を待つ必要がなくなるようにする。
• 一貫した因果的スナップショットを伴う効率的なマルチキーのトランザクションリードを可能にするために、ローカルで依存関係ベクトルを使用する。
• リモート更新にはスカラータイムスタンプを用い、グローバル承認後にのみ可視性を保証する、Universal Stable Time (UST) に基づく安定化プロトコルを実装する。
• 依存関係の追跡と安定化を分離するために、ローカル更新には依存関係ベクトルのみを使用し、レプリケートされた更新にはスカラータイムスタンプを使用する。
• 定期的かつ非同期的な通信により安定化のオーバーヘッドを均等に分散させ、リアルタイムでの調整コストを低減する。
• UST の計算をグローバル安定値 (GSV) の計算にピッグバックさせることで、追加の通信コストを最小限に抑えるようにシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド論理/物理時計を用いることで、因果的整合性を保証する地理的にレプリケートされたシステムにおける時計ずれが引き起こす遅延オーバーヘッドを排除できるか？
• RQ2 リモート更新にスカラータイムスタンプを用いる安定化プロトコルは、高可用性を維持しながらメタデータのオーバーヘッドを低減できるか？
• RQ3 読み込み強度の高いおよび書き込み強度の高いワークロードにおいて、更新の可視化遅延とメタデータ効率のトレードオフが、全体のシステムパフォーマンスに与える影響はどの程度か？
• RQ4 HLC と依存関係ベクトルの組み合わせにより、地理的にレプリケートされたストアで低遅延かつスケーラブルなトランザクションリードを実現できるか？
• RQ5 更新のグローバル承認を要件とする安定化プロトコルは、通信コストが著しく増大することなく、ネットワークパーティション発生時における可用性を向上させられるか？

主な発見

• Okapi はハイブリッド論理/物理時計の使用により、時計ずれに起因する待機を排除することで、更新の可視化遅延を低減した。
• Okapi は Cure よりも最大 3.5 倍低い遅延と 60% 減少したメタデータのオーバーヘッドを達成した。
• Okapi は、3 つの地理的に分散されたリージョンを有する AWS 上のさまざまなワークロードにおいて、GentleRain よりも最大 2 つの数量級優れたパフォーマンスを実現した。
• 読み込み中心のワークロードでは Okapi の通信コストは Cure と同等であり、書き込み強度が高くなると、レプリケートされた更新のメタデータが減少するため、Cure よりも低くなった。
• Okapi の安定化プロトコルは Cure や GentleRain よりもわずかに高い通信コストを要するが、著しく優れたリソース効率と可用性を達成した。
• UST のプロトコルオーバーヘッドは、メタデータの削減により均等に分散され、今後の最適化として GSV の計算に UST の計算をピッグバックさせることで、さらにコストを削減できる可能性がある。