[論文レビュー] Toward a Principled Framework for Benchmarking Consistency

Muntasir Raihan Rahman, Wojciech Golab+3 more|arXiv (Cornell University)|Nov 19, 2012

Distributed systems and fault tolerance参考文献 28被引用数 55

ひとこと要約

この論文は、Cassandraのような最終的整合性を持つキーバリュー・システムにおける実際のデータ整合性を測定する、クライアント中心で非侵襲的なベンチマーキングフレームワークを提案する。YCSBを拡張し、$Δ$-アトミシティ指標を用いて読み取りの陳腐化を追跡することで、最小限のパフォーマンスオーバーヘッドで現実世界の整合性動作を捉える。その結果、Cassandraは典型的には1ms前後だが、最悪ケースでは最大233msに達する長尾型の陳腐化を示すことが判明した。

ABSTRACT

Large-scale key-value storage systems sacrifice consistency in the interest of dependability (i.e., partition tolerance and availability), as well as performance (i.e., latency). Such systems provide eventual consistency,which---to this point---has been difficult to quantify in real systems. Given the many implementations and deployments of eventually-consistent systems (e.g., NoSQL systems), attempts have been made to measure this consistency empirically, but they suffer from important drawbacks. For example, state-of-the art consistency benchmarks exercise the system only in restricted ways and disrupt the workload, which limits their accuracy. In this paper, we take the position that a consistency benchmark should paint a comprehensive picture of the relationship between the storage system under consideration, the workload, the pattern of failures, and the consistency observed by clients. To illustrate our point, we first survey prior efforts to quantify eventual consistency. We then present a benchmarking technique that overcomes the shortcomings of existing techniques to measure the consistency observed by clients as they execute the workload under consideration. This method is versatile and minimally disruptive to the system under test. As a proof of concept, we demonstrate this tool on Cassandra.

研究の動機と目的

• 最終的整合性を持つキーバリュー・システムの実際の展開環境において、正確で非干渉的な整合性測定手法の欠如に取り組むこと。
• 操作を挿入することでシステム動作を歪めてしまう従来のベンチマークの限界を克服し、最悪ケースや不正確な整合性測定を避けること。
• 現実のワークロード下でのクライアントが実際に観測する整合性を反映する、システムに依存しないクライアント中心のアプローチを提供すること。
• 本番環境に近い設定において、パフォーマンスと整合性のトレードオフを定量化することで、システムの構成や展開意思決定を支援すること。
• 理論的または最悪ケースの整合性ではなく、観測された整合性を測定することで、異なる整合性モデルや実装間の公平な比較を可能にすること。

提案手法

• YCSBベンチマーキングフレームワークを拡張し、ミリ秒精度のクロックを用いて各読み取りおよび書き込み操作の正確な開始時刻と終了時刻をログ記録するためのインストルメンテーションを導入する。
• 書き込みの完了時刻と読み取りの応答時刻の時間差を測定する$Δ$-アトミシティモデルに基づき、読み取り操作が返すデータの陳腐化度を定量化するスコア関数$\chi$を導入する。
• $\chi$指標を用いて各読み取り操作の相対的陳腐化度を計算し、整合性動作のヒストグラムおよび時系列可視化を可能にする。
• 実際のアクセスパターンを模倣するため、ホットキーを用いた読み取り中心（80% get、20% put）のワークロードを用いてCassandraにこの手法を適用する。
• キー空間のサブセットに対してキーをランダムにサンプリングし、$\chi$および$Δ$を計算することで、フルインストルメンテーションなしにスケーラブルな測定を実現する。
• インストルメンテーションのパフォーマンスオーバーヘッドを測定したところ、5%未満であった。これにより、テスト対象システムへの干渉が最小限であることが示された。

実験結果

リサーチクエスチョン

• RQ1 最終的整合性を持つキーバリュー・システムにおける整合性を、ワークロードを歪めることなく正確に測定する方法は何か？
• RQ2 最悪ケースの動作とは対照的に、実際の展開環境でクライアントが観測するデータの陳腐化の実際の分布はどのようなものか？
• RQ3 実際的で読み取り中心のワークロード下において、Cassandraの整合性動作は時間経過とともに、および異なるキー間でどのように変化するか？
• RQ4 現在のインストルメンテーションがシステムパフォーマンスに与える影響はどの程度で、非干渉的と見なせるか？
• RQ5 システムに依存しないクライアント中心の指標は、さまざまな構成や整合性モデル間で有意義な整合性の違いを捉えることができるか？

主な発見

• ベンチマークにより、Cassandraが長尾型の陳腐化分布を示すことが判明した。大多数の読み取り操作は最新の書き込みから1ms以内にデータを返すが、一部の操作では最大233msの陳腐化が観測された。
• 時間系列可視化において、大部分の陳腐化値がx軸に集中しており、多数の読み取りが整合的であることが示されたが、まれに「整合性のスパイク」が観測された。
• インストルメンテーションのパフォーマンスオーバーヘッドは5%未満であり、この手法が最小限の干渉で本番環境に近い評価に適していることが実証された。
• $\chi$指標は、キー間でのデータの相対的陳腐化度を効果的に捉え、整合性動作の分布的および時間的分析を可能にした。
• 構成意思決定（例：レプリカレプリカ要因やクorumサイズ）が、推測ではなく実測された整合性測定値に基づいて行えることが示唆された。
• この手法により、異なるキーバリュー・システムや整合性モデル間での整合性動作の正確でシステムに依存しない比較が可能になった。