[論文レビュー] Coordination Avoidance in Database Systems (Extended Version)

Peter Bailis, Alan Fekete+4 more|arXiv (Cornell University)|Feb 10, 2014

Distributed systems and fault tolerance参考文献 78被引用数 3

ひとこと要約

本論文では、アプリケーションレベルの不変条件を保持する間、データベース操作を協調なしで実行できるかどうかを決定する形式的枠組みである不変条件のコンフラuent性（$\mathcal{I}$-confluence）を導入する。主キー制約やチェック制約などの整合性制約を分析することで、著者らは多くの一般的な操作が$\mathcal{I}$-confluentであることを示し、TPC-C New-Orderワークロードにおいて、正しく性向を保ったまま、並列実行と比較して最大25倍の性能向上を達成できる。

ABSTRACT

Minimizing coordination, or blocking communication between concurrently executing operations, is key to maximizing scalability, availability, and high performance in database systems. However, uninhibited coordination-free execution can compromise application correctness, or consistency. When is coordination necessary for correctness? The classic use of serializable transactions is sufficient to maintain correctness but is not necessary for all applications, sacrificing potential scalability. In this paper, we develop a formal framework, invariant confluence, that determines whether an application requires coordination for correct execution. By operating on application-level invariants over database states (e.g., integrity constraints), invariant confluence analysis provides a necessary and sufficient condition for safe, coordination-free execution. When programmers specify their application invariants, this analysis allows databases to coordinate only when anomalies that might violate invariants are possible. We analyze the invariant confluence of common invariants and operations from real-world database systems (i.e., integrity constraints) and applications and show that many are invariant confluent and therefore achievable without coordination. We apply these results to a proof-of-concept coordination-avoiding database prototype and demonstrate sizable performance gains compared to serializable execution, notably a 25-fold improvement over prior TPC-C New-Order performance on a 200 server cluster.

研究の動機と目的

• 従来の可串的トランザクションが過剰な協調を要するため、スケーラビリティと可用性に限界があるという問題に対処すること。
• アプリケーションレベルの一貫性を維持するために、保守的な隔離レベルに依存せず、協調が必要となる厳密な状況を特定すること。
• 安全な協調なし実行のための必要十分条件である形式的条件である$\mathcal{I}$-confluenceを形式化すること。
• 現実のデータベース不変条件と操作を分析し、どの操作が協調なしで実行可能であるかを特定すること。
• 協調回避の実用的利点が、プロトタイプシステムにおいてどのように発揮されるかを実証すること。

提案手法

• アプリケーション不変条件の保存を保証する形式的条件として、不変条件のコンフラuent性（$\mathcal{I}$-confluence）を定義する。
• データベース操作と不変条件を、データベース状態空間上の状態遷移としてモデル化し、並列実行が有効な状態に統合可能かどうかを分析する。
• 主キー制約、外部キー制約、一意制約、チェック制約といった一般的な整合性制約に対して$\mathcal{I}$-confluence分析を適用する。
• $\mathcal{I}$-confluenceを用いて、協調が必要かどうかを動的に判断する協調回避型データベースプロトタイプを実装する。
• 分析結果を基に、RAMPトランザクションや連鎖的削除のための協調なしアルゴリズムの設計を支援する。
• TPC-C New-OrderおよびOLTPBenchワークロードを用いて、プロトタイプを可串的実行と比較し、性能向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 アプリケーションレベルの一貫性を維持するために、協調が必要となる厳密な状況はいつか？
• RQ2 複数の操作が不変条件を保持する間、協調なしで安全に実行可能かどうかを形式的に決定できるか？
• RQ3 主キー制約や一意制約などの一般的なデータベース制約のうち、$\mathcal{I}$-confluentである（つまり、協調なしで安全に実行可能である）ものはどれか？
• RQ4 協調回避は、実世界のOLTPワークロードにおいて、どの程度の性能向上を達成できるか？
• RQ5 $\mathcal{I}$-confluenceは、スケーラブルで高性能なデータベースシステムを設計するための設計原則として利用可能か？

主な発見

• 主キー制約や一意値生成、チェック制約といった多くの一般的なデータベース不変条件は、$\mathcal{I}$-confluentであり、協調なし実行が安全である。
• 一般に、主キー制約は$\mathcal{I}$-confluentではないため、競合を防ぐために協調が必要である。
• 協調回避型プロトタイプは、200サーバーのクラスタ上でTPC-C New-Orderベンチマークにおいて、可串的実行と比較して25倍の性能向上を達成した。
• $\mathcal{I}$-confluence分析は、外部キー制約下での挿入および連鎖的削除が協調なしで実行可能であることを正しく同定し、効率的な分散アルゴリズムの実現を可能にした。
• このフレームワークにより、データベースは必要最小限のときだけ協調を行うことができ、可串的隔離と比較して協調オーバーヘッドを顕著に削減できる。
• 結果として、協調回避は理論的にも妥当であり、実世界のワークロードにおいても実用的で、極めて高い性能を発揮することが実証された。