[論文レビュー] On Predictive Modeling for Optimizing Transaction Execution in Parallel OLTP Systems

Andrew Pavlo, Evan P. C. Jones+1 more|arXiv (Cornell University)|Oct 30, 2011

Distributed systems and fault tolerance参考文献 20被引用数 5

ひとこと要約

本論文では、並列OLTPシステムにおける分散トランザクションに対して、効率的な同時実行制御、予測実行、および最小限のアンドゥログ記録といったパフォーマンス最適化を自動で選択する、マルコフモデルに基づくランタイム予測フレームワークHoudiniを提案する。実行前のトランザクション動作の予測により、Houdiniは平均で41%のスループット向上を達成し、ランタイムオーバーヘッドはわずか5.8%にとどまる。

ABSTRACT

A new emerging class of parallel database management systems (DBMS) is designed to take advantage of the partitionable workloads of on-line transaction processing (OLTP) applications. Transactions in these systems are optimized to execute to completion on a single node in a shared-nothing cluster without needing to coordinate with other nodes or use expensive concurrency control measures. But some OLTP applications cannot be partitioned such that all of their transactions execute within a single-partition in this manner. These distributed transactions access data not stored within their local partitions and subsequently require more heavy-weight concurrency control protocols. Further difficulties arise when the transaction's execution properties, such as the number of partitions it may need to access or whether it will abort, are not known beforehand. The DBMS could mitigate these performance issues if it is provided with additional information about transactions. Thus, in this paper we present a Markov model-based approach for automatically selecting which optimizations a DBMS could use, namely (1) more efficient concurrency control schemes, (2) intelligent scheduling, (3) reduced undo logging, and (4) speculative execution. To evaluate our techniques, we implemented our models and integrated them into a parallel, main-memory OLTP DBMS to show that we can improve the performance of applications with diverse workloads.

研究の動機と目的

• 複数のパーティションにまたがる分散トランザクションが引き起こす同時実行制御の負荷によって引き起こされるパフォーマンス劣化を是正すること。
• 手動でのチューニングやユーザーからのヒントに依存することを減らし、ランタイムでのトランザクション最適化の自動選択を可能にすること。
• トランザクション実行パスの予測を通じて、アンドゥログの削減や予測実行といった文脈に適した最適化を可能にし、システムスループットを向上させること。
• H-Storeのような既存のメインメモリOLTPシステムにシームレスに統合可能な、スケーラブルで低オーバーヘッドの予測フレームワークの開発

提案手法

• ストアドプロシージャに基づくトランザクションを、現在の状態に基づいてトランザクションが実行する可能性のあるクエリの確率的シーケンスを捉えるマルコフモデルとして表現する。
• 生産ワークロードからの観察されたトランザクション実行トレースに基づき、オンライン学習を用いてマルコフモデルを継続的に更新する。
• H-Store DBMSに予測エンジンを統合し、トランザクション実行の前にリアルタイムで最適化意思決定を下す。
• 予測のスケーラビリティと正確性を向上させるために、クエリシーケンスおよびプロシージャパラメータに基づいてマルコフモデルをパーティショニングする。
• 予測されたトランザクション動作に基づき、アンドゥログの無効化や予測実行の有効化といった動的最適化選択を可能にする。
• 生産環境に近い展開環境で、3つの標準OLTPベンチマークを用いて、モデルの正確性とパフォーマンスへの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 共有ノットな並列データベースシステムにおいて、マルコフモデルは個々のOLTPトランザクションの実行パスを正確に予測できるか？
• RQ2 ランタイム予測は、分散トランザクションに対してアンドゥログの削減や予測実行といったパフォーマンス最適化を効果的に可能にするか？
• RQ3 高スループットOLTP環境において、予測モデルの維持と利用に伴うパフォーマンスオーバーヘッドはどの程度か？
• RQ4 予測モデリングにより、ユーザー入力なしで多様なOLTPワークロードにおいて手動チューニングの必要性を低減し、スループットを向上させられるか？
• RQ5 予測の正確性が適切な最適化の選択と全体的なシステムパフォーマンスに与える影響は何か？

主な発見

• 提案されたマルコフモデルベースの予測フレームワークHoudiniは、3つのOLTPベンチマーク全体で93%のトランザクションについて実行パスを正確に予測している。
• Houdiniは、予測を用いない単純なベースライン手法と比較して、平均で41%のスループット向上を達成している。
• フレームワークは平均して5.8%のランタイムオーバーヘッドしか負担しないため、予測のパフォーマンスコストが低いことが示された。
• 予測された動作に基づき、アンドゥログの選択的無効化と予測実行の有効化により、顕著なパフォーマンス向上が達成された。
• Houdiniは、ワークロードの偏りや動的な変化に対しても適応可能であり、観察された実行パターンにオンラインで適合する。
• ユーザーのアノテーションやトランザクション動作に関する事前知識が不要な、自動的で透明な最適化選択を可能にする。