[論文レビュー] Optimizing Federated Queries Based on the Physical Design of a Data Lake

Philipp D. Rohde, María-Esther Vidal|arXiv (Cornell University)|Feb 19, 2020

Semantic Web and Ontologies参考文献 23被引用数 5

ひとこと要約

本稿では、特にリレーショナルデータベースを含む基盤データソースの物理的設計を活用することで、セマンティックデータレイクにおけるフェデレーテッドSPARQLクエリの最適化のためのソース固有のヒューリスティクスを提案する。インデックスの認識とクエリエンジンレベルの最適化を活用して結合やフィルタをプッシュダウンすることで、物理スキーマの詳細を無視する最新のエンジンと比較して実行時間を短縮する。

ABSTRACT

The optimization of query execution plans is known to be crucial for reducing the query execution time. In particular, query optimization has been studied thoroughly for relational databases over the past decades. Recently, the Resource Description Framework (RDF) became popular for publishing data on the Web. As a consequence, federations composed of different data models like RDF and relational databases evolved. One type of these federations are Semantic Data Lakes where every data source is kept in its original data model and semantically annotated with ontologies or controlled vocabularies. However, state-of-the-art query engines for federated query processing over Semantic Data Lakes often rely on optimization techniques tailored for RDF. In this paper, we present query optimization techniques guided by heuristics that take the physical design of a Data Lake into account. The heuristics are implemented on top of Ontario, a SPARQL query engine for Semantic Data Lakes. Using source-specific heuristics, the query engine is able to generate more efficient query execution plans by exploiting the knowledge about indexes and normalization in relational databases. We show that heuristics which take the physical design of the Data Lake into account are able to speed up query processing.

研究の動機と目的

• 既存のクエリエンジンが物理的設計の詳細を無視するため、セマンティックデータレイクにおけるフェデレーテッドクエリ処理の非効率性という課題に対処する。
• インデキシングや正規化を含むリレーショナルデータベーススキーマのソース固有の知識を統合することで、クエリ実行の効率を向上させる。
• 物理的設計、特にインデックスを考慮することで、一般的なアプローチやRDF最適化アプローチよりも効率的なクエリ実行計画が得られることを示す。
• クエリエンジンに操作をデータソースにプッシュダウンできる可能性がある場合に、より良いクエリ実行計画を生成するヒューリスティクスをオンタリオSPARQLクエリエンジンに拡張する。
• 物理的設計がフェデレーテッド環境におけるクエリパフォーマンスに与える影響を調査する。特に、正規化されたリレーショナルテーブル上のスター型サブクエリに関して重点を置く。

提案手法

• オンタリオSPARQLクエリエンジンにソース固有のヒューリスティクスを統合する。このエンジンは、異種のデータモデル上でフェデレーテッドクエリ処理をネイティブにサポートする。
• ヒューリスティクス1（結合プッシュダウン）：同じリレーショナルデータベースエンドポイント上のスター型サブクエリを、結合属性がインデックス化されている場合に統合することで、クロスソース通信を削減する。
• ヒューリスティクス2（フィルタプッシュダウン）：フィルタ属性がインデックス化されている場合にのみ、フィルタ操作をデータソースにプッシュダウンする。そうでない場合は、クエリエンジンレベルで評価する。
• RDFモレキュールテンプレート（RDF-MTs）を用いてエンティティクラスをモデル化し、サブクエリを効率的な処理のためのスター型パターンに分解するためのガイドラインを提供する。
• ANAPSIDの物理的オペレータとコストベース推定を活用して、計画生成を改善し、中間結果のサイズを削減する。
• リレーショナルソースのSPARQLサブクエリを、スキーマ統計とインデキシングに基づく最適化の機会を保持したまま、ネイティブSQLに変換する。

実験結果

リサーチクエスチョン

• RQ1 インデキシングや正規化などの物理的データベース設計の知識を組み込むことで、セマンティックデータレイクにおけるクエリ最適化は向上するか？
• RQ2 インデックス化された属性に基づく結合プッシュダウンは、リレーショナルおよびRDFソース上のフェデレーテッドSPARQLクエリの実行時間にどのように影響するか？
• RQ3 フィルタ属性がインデックス化されている場合とそうでない場合とで、フィルタプッシュダウン戦略がパフォーマンスに与える影響はどの程度か？
• RQ4 リレーショナルテーブルの物理的設計（例：3NF正規化、主キーの使用）は、フェデレーテッドクエリ実行計画の効率にどのように影響するか？
• RQ5 異種のデータレイク環境において、ソース固有のヒューリスティクスを用いた場合と、一般的なアプローチやRDF最適化アプローチを用いた場合とのパフォーマンスへの影響は何か？

主な発見

• リレーショナルデータベースの物理的設計を考慮する本稿で提案するヒューリスティクスは、そのような詳細を無視する最新のエンジンと比較して、より効率的なクエリ実行計画を生成する。
• 結合プッシュダウンは、結合属性がインデックス化されている場合に有効であり、クエリエンジンレベルでの操作数を減らすために、データソースレベルでサブクエリを統合できる。
• フィルタプッシュダウンは、フィルタ属性がインデックス化されている場合にのみ有益である。そうでない場合は、中間結果が大きくなるため、クエリエンジンレベルでのフィルタリングがより効率的である。
• 主キーを主語とする正規化されたリレーショナルテーブル上でのスター型サブクエリの使用は、先行研究が指摘するように、クエリ最適化の可能性を高める。
• クエリパフォーマンスは物理的設計やネットワーク状態だけでなく、クエリエンジンおよびワラッパーの実装にも影響を受けるため、最適化は文脈依存的であることが示された。
• 初期段階の実装でも、ヒューリスティクスは測定可能なパフォーマンス向上を示しており、物理的設計の認識が将来的なデータレイクにおける最適化の有効な道筋であることが示唆された。