[論文レビュー] Fault-tolerant Distributed Reactive Programming

Rachid Guerraoui, Matej Pavlovič+1 more|arXiv (Cornell University)|Sep 8, 2016

Distributed systems and fault tolerance被引用数 8

ひとこと要約

この論文では、レプリケートされたオブジェクトに対して段階的整合性保証（ICG）を提供する分散プログラミング抽象化であるCorrectablesを紹介する。これにより、アプリケーションは高速で一時的な結果を受け取り、後に強く整合性のある最終結果を得られる。一時的な値を予測することで、Cassandra や ZooKeeper をバックエンドに持つシステムにおいて、最大40％のレイテンシ低減が達成され、帯域幅は10％増加し、スループットは6％低下する。

ABSTRACT

In this paper, we present a holistic approach to provide fault tolerance for distributed reactive programming. Our solution automatically stores and recovers program state to handle crashes, automatically updates and shares distributed parts of the state to provide eventual consistency, and handles errors in a fine-grained manner to allow precise manual control when necessary. By making use of the reactive programming paradigm, we provide these mechanisms without changing the behavior of existing programs and with reasonable performance, as indicated by our experimental evaluation.

研究の動機と目的

• 強い整合性と弱い整合性の間の『グレーゾーン』に位置する分散アプリケーションにおいて、整合性とパフォーマンスのバランスを取る課題に取り組むこと。
• クorum選択、キャッシュ、整合性管理などのストレージスタックの詳細を抽象化することで、レプリケートされたオブジェクトのプログラミングの複雑さを軽減すること。
• 開発者が1回の操作内で複数の整合性レベルを公開することにより、低レイテンシと正しさの両方を最適化できるようにすること。
• 本番環境のワークロードを用いて、段階的整合性保証（ICG）のパフォーマンスとオーバーヘッドを評価すること。

提案手法

• レプリケートされたオブジェクトの段階的整合性ビューに対応する複数の未来値を表す、一般化されたPromiseベースの抽象化であるCorrectablesを導入する。
• ICGを設計し、一時的な結果（高速で弱く整合性のあるもの）が先に送られ、その後に最終結果（強く整合性のあるもの）が後から到着するようにする。
• 段階的整合性保証を実現するため、広く使われている2つのストレージシステム—Cassandra と ZooKeeper—向けのバインディングを実装する。
• アプリケーションが一時的な結果を用いてプリフェッチや早期処理を実行できるようにすることで、予測による性能向上を可能にする。
• Amazon EC2 上でYCSBワークロードA、B、Cを用いて、レイテンシ、スループット、帯域幅のオーバーヘッドを評価する。
• アプリケーションの意味論（例：単調カウンターやチケットキューイング）に基づき、一時的結果と最終結果の間で動的に切り替えることで、正しさとパフォーマンスの最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 段階的整合性保証（ICG）を分散システムにおいて一等抽象化として効果的に提供することで、正しさを損なわずにアプリケーションのレイテンシを改善できるか？
• RQ2 ICGを用いて一時的な結果を予測することで、本番環境のアプリケーションでどの程度のパフォーマンス向上が達成できるか？
• RQ3 Cassandra や ZooKeeper のような本番環境のストレージシステムでICGをサポートする際の帯域幅とスループットのオーバーヘッドはどの程度か？
• RQ4 ICGは、単調カウンターやキューイングシステムなどのアプリケーション固有の意味論と効果的に組み合わせて使用できるか？
• RQ5 一時的結果が整合性のない頻度が高い場合、予測の全体的なコストと信頼性にどのような影響が生じるか？

主な発見

• 広告配信システムでは、ICGにより強く整合性のある操作のレイテンシが最大40％低減され、100msから60msにまで低下した。帯域幅は10％増加し、スループットは6％低下した。
• 一時的結果の25％が整合性のない場合でも、帯域幅のオーバーヘッドはわずか27％にとどまった。
• 一時的結果と最終結果の間の時間窓は、マイクロブログやチケット販売などの本番環境アプリケーションで効果的な予測を可能にする十分な大きさであった。
• Twissandra マイクロブログシステムでは、予測により複数の地理的領域でレイテンシが低減され、正しい結果からの乖離は常に1％未満であり、予測の成功度が非常に高かった。
• チケット販売システムでは、最初の480枚のチケットに対して一時的結果を用いることでレイテンシが顕著に低減され、最終ビューで平均2～6枚のチケットが取り消されるにとどまり、競合状態下でも正しさが保証された。
• 評価により、ICGが運用中に動的整合性意思決定を可能にし、リアルタイムの状態やアプリケーションの意味論に応じて整合性レベルを切り替えることが可能であることが確認された。