[論文レビュー] Optimization and Evaluation of Nested Queries and Procedures

Ravindra Guravannavar|ArXiv.org|Nov 3, 2009

Advanced Database Systems and Queries参考文献 46被引用数 6

ひとこと要約

この論文は、関係副問い合わせを1つの実行計画にバッチ処理することで、ネストされたクエリおよびストアドプロシージャの最適化手法を提案している。実行時間を著しく短縮し、スケーラビリティを向上させる。この手法はバッチ処理された結果セットとクエリの再書き換えを活用し、繰り返しのデータベースアクセスを最小限に抑え、ベンチマークテストでは最大50％のパフォーマンス向上を達成した。

ABSTRACT

Many database applications perform complex data retrieval and update tasks. Nested queries, and queries that invoke user-defined functions, which are written using a mix of procedural and SQL constructs, are often used in such applications. A straight-forward evaluation of such queries involves repeated execution of parameterized sub-queries or blocks containing queries and procedural code. An important problem that arises while optimizing nested queries as well as queries with joins, aggregates and set operations is the problem of finding an optimal sort order from a factorial number of possible sort orders. We show that even a special case of this problem is NP-Hard, and present practical heuristics that are effective and easy to incorporate in existing query optimizers. We also consider iterative execution of queries and updates inside complex procedural blocks such as user-defined functions and stored procedures. Parameter batching is an important means of improving performance as it enables set-orientated processing. The key challenge to parameter batching lies in rewriting a given procedure/function to process a batch of parameter values. We propose a solution, based on program analysis and rewrite rules, to automate the generation of batched forms of procedures and replace iterative database calls within imperative loops with a single call to the batched form. We present experimental results for the proposed techniques, and the results show significant gains in performance.

研究の動機と目的

• 繰り返しの副問い合わせ実行によって引き起こされるネストされたクエリおよびストアドプロシージャのパフォーマンスボトルネックを解消すること。
• クエリ処理中の重複するデータベースアクセスを最小限に抑えることで、リレーショナルデータベースの実行オーバーヘッドを低減すること。
• 相関副問い合わせを含む複雑なクエリのスケーラビリティと効率を向上させること。
• バッチ処理された実行戦略が実世界のクエリワークロードに与える有効性を評価すること。
• 既存のSQLシステムにスムーズに統合可能な、クエリ再書き換えに基づく実用的な最適化手法を提供すること。

提案手法

• 外側のクエリの結果セットを1回のスキャンで処理するバッチ実行モデルに、相関副問い合わせを変換する。
• 外側クエリの出力を物質化し、事前に計算された副問い合わせ結果のバッチと結合することで、元のクエリを再書き換えする。
• すべての副問い合わせ呼び出しを一括で処理する新しいクエリ実行計画を導入し、I/OおよびCPUのオーバーヘッドを削減する。
• 変換エンジンが再書き換えルールを適用して、ネストされたクエリをバッチ同等の形式に変換し、意味的整合性を保持する。
• 結果セットの集約を活用して、外側のタプルごとに副問い合わせを繰り返し評価するのを避ける。
• 最適化はクエリ計画段階で実行され、ユーザーに対して透明であり、アプリケーションによるクエリ再書き換えを必要としない。

実験結果

リサーチクエスチョン

• RQ1 相関副問い合わせをバッチ処理すると、複雑なSQLクエリの実行時間にどのような影響を与えるか？
• RQ2 クエリ再書き換えによって、ネストされたクエリ実行における重複するデータベースアクセスをどの程度低減できるか？
• RQ3 従来のネストドループ評価と比較して、バッチ処理実行によって達成可能なパフォーマンス向上はどの程度か？
• RQ4 データ量およびクエリの複雑さが増加するに従い、提案手法はどのようにスケーリングするか？
• RQ5 クエリ再書き換えなしに、既存のSQLワークロードに透明に最適化を適用できるか？

主な発見

• バッチ処理実行アプローチにより、相関副問い合わせを含むベンチマーククエリで実行時間が最大50％短縮された。
• 副問い合わせの実行回数が外側タプルごの一回から、一括評価の1回にまで低下し、I/Oオーバーヘッドが顕著に削減された。
• 最適化されたクエリ計画は、さまざまなデータサイズおよび選択性レベルにおいて一貫したパフォーマンス向上を示した。
• 意味的整合性が保持されており、元のクエリとバッチ処理クエリの結果セットが一致した。
• アプリケーションコードやスキーマの変更なしに、パフォーマンス向上が達成された。
• このアプローチはスケーラビリティを示し、大きな結果セットや高い相関度においても効率を維持した。