[論文レビュー] Bigtable Merge Compaction

Claire Mathieu, Carl Staelin+2 more|arXiv (Cornell University)|Jul 11, 2014

Cloud Computing and Resource Management参考文献 23被引用数 6

ひとこと要約

この論文は、BigtableのLSMベースのストレージシステムにおけるオンラインコンパクションポリシーの設計および分析のための形式的ツールを導入し、競争分析を用いて近似的に最適な性能を達成する新しいアルゴリズムを提案する。理論的に妥当で、実験的に検証されたポリシーを提示しており、特にi.i.d.なファイル長およびリードレートを伴う現実的なワークロード下で、従来のヒューリスティクスと比較してコンパクションおよびリードコストを顕著に低減する。

ABSTRACT

NoSQL databases are widely used for massive data storage and real-time web applications. Yet important aspects of these data structures are not well understood. For example, NoSQL databases write most of their data to a collection of files on disk, meanwhile periodically compacting subsets of these files. A compaction policy must choose which files to compact, and when to compact them, without knowing the future workload. Although these choices can affect computational efficiency by orders of magnitude, existing literature lacks tools for designing and analyzing online compaction policies --- policies are now chosen largely by trial and error. Here we introduce tools for the design and analysis of compaction policies for Google Bigtable, propose new policies, give average-case and worst-case competitive analyses, and present preliminary empirical benchmarks.

研究の動機と目的

• BigtableのようなNoSQLデータベースにおけるオンラインコンパクションポリシーの設計および分析のための形式的ツールの不足に対処すること。
• LSMベースのシステムにおける主要なパフォーマンスボトルネックであるコンパクションおよびリード操作の計算オーバーヘッドを低減すること。
• 将来のワークロードが未知である状況下でも、競争分析を用いて良好な性能を発揮するポリシーの開発。
• 最適およびオンラインポリシーのコストに関する理論的バウンディングを提供し、パフォーマンスの推定および比較を可能にすること。
• 従来のヒューリスティクス（GoogleのデフォルトおよびBRBを含む）と比較して、新しいポリシーの実験的検証を行い、コスト削減を示すこと。

提案手法

• ファイル長がスタックにプッシュされ、連続するシーケンスにマージされるオンラインスタックベースの最適化問題として、Bigtableマージコンパクション（BMC）問題をモデル化する。
• スタックサイズkに依存するリードコスト関数f(k)を導入し、複数レベルにまたがるキーのリードコストを捉える。
• 2つの新しいオンラインアルゴリズムを提案：1つはマージサイズの上限Kが存在する場合（BMC≤K）、もう1つはリードコストが線形のケース（線形BMC）で、両者とも推定された平均ファイル長およびリードレートに基づく適応的マージを採用。
• 最悪ケースおよび平均ケースの競争分析を適用し、新しいアルゴリズムが最適なオフラインコストの(1+o(1))要因以内に収束することを証明。
• フェーズベースのマージと統計的推定を用いて、時間経過に伴い平均ファイル長およびリードレートの(1±ε)精度の推定を維持。
• 2段階戦略を採用：初期フェーズではスタックサイズを低減するための積極的マージを実施し、その後は推定された最適スケジュールに従ってフェーズ単位でマージを実行。

実験結果

リサーチクエスチョン

• RQ1 将来のワークロードが不明な状況下でも、最適に近い性能を保証するオンラインコンパクションポリシーをBigtable用に設計可能か？
• RQ2 理論的な競争比と、i.i.d.な実際のワークロード下でのオンラインポリシーの実際のパフォーマンスの間にはどのような相違があるか？
• RQ3 平均ファイル長およびリードレートの適応的推定は、実際の運用で近似的に最適なパフォーランスを達成できるか？
• RQ4 提案されたポリシーは、GoogleのデフォルトやBRBといった既存のヒューリスティクスと比較して、総コストおよびスケーラビリティの面で優れているか？
• RQ5 ファイル長およびリードレートの分布が、さまざまなコンパクション戦略のパフォーマンスに与える影響は何か？

主な発見

• BMC≤K用に提案されたオンラインアルゴリズムは、期待コストが最適なオフラインコストの(1+o(1))要因以内に収束し、初期フェーズでは総コストがO(ℓ[1,n] + r[1,n])となる。
• 線形BMCの場合、定理4のアルゴリズムは、時間ステップあたりの最適コストβ log nに漸近的に一致する。ここでβは1/2^(ℓ̄/β) + 1/2^(r̄/β) = 1を満たす。
• 実験的ベンチマークでは、BRBアルゴリズムがGoogleのデフォルトポリシーを顕著に上回り、特にn ≥ K·3^Kの大きなnのケースで最適に近いコスト削減が達成される。
• 小さなnに対しても、BRBは最適に近く、特にファイル長が対数正規分布に従い、リードレートがi.i.d.な指数分布に従う場合、デフォルトよりも著しく優れた性能を示す。
• 定理3のアルゴリズムはℓ̄/r̄が小さい場合に良好に機能するが、この比が大きい場合には性能が劣化し、ワークロードの不均衡に敏感であることが示された。
• 全体として、提案されたポリシーは実際の運用でも近似的に最適なパフォーマンスを達成しており、期待コストが最適コストの(1+o(1))要因以内に収束し、理論的な競争分析の妥当性が裏付けられた。