[論文レビュー] Polyjuice: High-Performance Transactions via Learned Concurrency Control

Jiachen Wang, Ding Ding+5 more|arXiv (Cornell University)|May 21, 2021

Distributed systems and fault tolerance参考文献 63被引用数 10

ひとこと要約

Polyjuiceは、オフライン学習を用いて高性能でワークロード特化型のトランザクションスケジューリングポリシーを発見する学習ベースの並行制御フレームワークを提案する。並行制御を細粒度の行動からなるポリシースペースとしてモデル化し、進化計算を用いて最適化することで、中程度から高い競合状態下でのTPC-CおよびTPC-Eワークロードにおいて、従来のアルゴリズムよりも15%から56%高いスループットを達成する。

ABSTRACT

Concurrency control algorithms are key determinants of the performance of in-memory databases. Existing algorithms are designed to work well for certain workloads. For example, optimistic concurrency control (OCC) is better than two-phase-locking (2PL) under low contention, while the converse is true under high contention. To adapt to different workloads, prior works mix or switch between a few known algorithms using manual insights or simple heuristics. We propose a learning-based framework that instead explicitly optimizes concurrency control via offline training to maximize performance. Instead of choosing among a small number of known algorithms, our approach searches in a "policy space" of fine-grained actions, resulting in novel algorithms that can outperform existing algorithms by specializing to a given workload. We build Polyjuice based on our learning framework and evaluate it against several existing algorithms. Under different configurations of TPC-C and TPC-E, Polyjuice can achieve throughput numbers higher than the best of existing algorithms by 15% to 56%.

研究の動機と目的

• 異なるワークロードにおいて従来の並行制御アルゴリズム（例：2PL、OCC）の性能変動を解消すること。
• 手動チューニングや単純なヒューリスティクスに依存するヒューリスティックベースのハイブリッド手法の限界を克服すること。
• 特定のワークロードに特化した、新しい高性能な並行制御ポリシーを体系的かつ学習可能に発見できるフレームワークを設計すること。
• 既知のアルゴリズムを超えて、自動的かつデータ駆動型の並行制御最適化を可能にすること。

提案手法

• フレームワークは、読み取りバージョン選択、書き込み露出、待機時間、早期検証などの細粒度の行動からなるポリシースペースを定義し、トランザクションアクセス状態にマッピングする。
• 各ポリシーは、状態（トランザクションタイプとアクセスフェーズ）から行動への照合テーブルとして表現され、並行制御論理の明示的モデリングを可能にする。
• オフライン学習では、与えられたワークロードにおけるコミットスループットを最大化するポリシー構成を探索するために進化計算が用いられる。
• システムは再現されたトランザクショントレース上で学習を行い、ライブデプロイメントなしに異なるポリシー下での実行をエミュレートして性能を評価する。
• 本手法は、既存のアルゴリズム（例：OCC、2PL）のエンコードをサポートするとともに、先行研究で見られなかった新しい最適化ポリシーの発見も可能である。
• フレームワークは、各トランザクションに対して学習済みテーブルに基づき動的にポリシーを選択する、マルチコア型メモリ内データベースシステムPolyjuiceに実装されている。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのフレームワークは、OCC や 2PL といった手作業で設計されたアルゴリズムを凌駆する並行制御ポリシーを、実世界のワークロードで発見できるか？
• RQ2 細粒度の行動からなるポリシースペースは、新しい高性能な並行制御戦略の発見をどの程度可能にするか？
• RQ3 変動する競合レベル下で、学習されたポリシーの性能は、既存のハイブリッドまたは適応型並行制御メカニズムと比べてどうなるか？
• RQ4 予測可能なワークロードを持つ実世界のデータベースにおいて、オフライン学習アプローチは実用的か？

主な発見

• Polyjuiceは、中程度から高い競合状態下のTPC-CおよびTPC-Eワークロードにおいて、既存の最良の並行制御アルゴリズムよりも15%から56%高いスループットを達成する。
• 低競合状態下では、PolyjuiceはOCCと同等のポリシーを学習するが、実装の複雑さにより8%の性能オーバーヘッドを被る。
• 本システムは、既存のアルゴリズムにない新しいポリシーを発見しており、これらは微細なワークロード特性を巧みに活用して性能を最適化する。
• 本フレームワークは、eコマースシステムのピーク時間帯のトラフィックなど、アクセスパターンが予測可能なワークロードに対して有効であり、履歴トレースからの学習で高いインパクトを得られる。
• 照合テーブルによるポリシースペース表現は、効率的な進化計算探索を可能にし、既存および新しい並行制御戦略の両方に一般化可能である。