[論文レビュー] Query shredding: Efficient relational evaluation of queries over nested multisets (extended version)

James Cheney, Sam Lindley+1 more|arXiv (Cornell University)|Apr 28, 2014

Advanced Database Systems and Queries参考文献 33被引用数 15

ひとこと要約

この論文では、入れ子になったマルチセットクエリを袋の性質を保ちながら、固定数のフラットなSQLクエリに効率的に変換する、新しいクエリシャーディング技術を提示する。正規化、インデックス付きシャーディング、遅延処理されたOLAP操作を活用することで、中程度のサイズのデータベースにおけるパフォーマンスベンチマークで、従来のループリフト法を上回る性能を発揮する。

ABSTRACT

Nested relational query languages have been explored extensively, and underlie industrial language-integrated query systems such as Microsoft's LINQ. However, relational databases do not natively support nested collections in query results. This can lead to major performance problems: if programmers write queries that yield nested results, then such systems typically either fail or generate a large number of queries. We present a new approach to query shredding, which converts a query returning nested data to a fixed number of SQL queries. Our approach, in contrast to prior work, handles multiset semantics, and generates an idiomatic SQL:1999 query directly from a normal form for nested queries. We provide a detailed description of our translation and present experiments showing that it offers comparable or better performance than a recent alternative approach on a range of examples.

研究の動機と目的

• LINQ や Ferry のような言語統合クエリシステムにおいて、入れ子クエリがクエリスタームや非効率なメモリ内評価を引き起こす性能ボトルネックを解消すること。
• マルチセット（バッグ）上の入れ子クエリを効率的かつ関係的に行う評価を可能にすること。これに対して、従来のシステムはしばしば正しくまたは効率的に処理できない。
• 複雑なクエリ最適化器に依存せずに、自然で最適化可能なSQL:1999クエリを生成する翻訳パイプラインを開発すること。
• シャーディングの過程でマルチセットの性質を保持し、従来のアプローチで見られる結果サイズの2次関数的増大を回避すること。

提案手法

• この手法は、高階型正規形にネストされたクエリを正規化することで始まり、高階的特徴を排除し、モジュラーな翻訳を可能にする。
• シャーディング段階では、正規化されたクエリが、外部キーを介してネストされたレベルをリンクするインデックスが付加されたフラットなSQLクエリのパッケージに分解される。
• let挿入段階では、ROW_NUMBERとWITH句を用いて、抽象的なインデックスを実際のフラットな関係的構造として表現する、SQL互換のインデックス化が導入される。
• 最終的な翻訳段階では、シャーディングパッケージが標準SQL:1999にマッピングされ、レコードがフラット化され、行番号割り当て処理がクエリ計画に直接埋め込まれる。
• このアプローチでは、高度なOLAP機能（例：ROW_NUMBER）の使用を最終的なSQL生成段階まで延期することで、互換性と最適化の可能性が向上する。
• システムは実装され、標準SQL最適化器を用いて、追加のクエリリライトツールなしに、合成ベンチマークに対してループリフト法と比較評価されている。

実験結果

リサーチクエスチョン

• RQ1 袋の性質を保ちながら、固定数のフラットなSQLクエリに、入れ子マルチセットクエリを効率的に変換できるか？
• RQ2 正規化に基づくアプローチは、入れ子クエリからフラットな関係的形へのモジュラーかつ合成可能な翻訳をどのように可能にするか？
• RQ3 最終的なSQL段階までOLAP操作（例：ROW_NUMBER）を延期することで、パフォーマンスと標準SQL最適化器との互換性が向上するか？
• RQ4 提案されたシャーディング手法は、ループリフト法と比較して、クエリ実行パフォーマンスと結果サイズの点でどのように異なるか？
• RQ5 このアプローチは、LINQ や Ferry のような他の言語統合クエリシステム、あるいは複雑オブジェクトクエリ言語へ一般化可能か？

主な発見

• 提案されたシャーディング手法は、最大500MBのデータベースを対象としたさまざまな合成ベンチマーククエリにおいて、ループリフト法と同等またはそれ以上のパフォーマンスを達成している。
• この手法はマルチセットの性質を保持しており、従来のアプローチで見られる、入れ子のバッグのユニオン処理における結果サイズの2次関数的増大を回避している。
• OLAP操作を最終的なSQL変換段階まで延期することで、より予測可能で最適化可能なSQL計画が生成され、複雑な後処理最適化器への依存が軽減された。
• パスファインダーのような追加のクエリリライトツールを必要とせず、効率的な実行が可能である。これは、Ferryのループリフト法とは対照的である。
• この手法はリストベースのセマンティクスへも拡張可能であるが、現在の実装はSQLのデフォルト動作に一致するバッグセマンティクスに焦点を当てている。
• このアプローチは、既存のSQL:1999機能と互換性があり、LINQ や Ferry のようなシステムへの統合は最小限の変更で可能である。