[論文レビュー] Functional Dependencies Unleashed for Scalable Data Exchange

Angela Bonifati, Ioana Ileana+1 more|arXiv (Cornell University)|Feb 1, 2016

Advanced Database Systems and Queries参考文献 19被引用数 7

ひとこと要約

本論文では、ソース・ターゲット間のtgdsとターゲットfdの相互作用を活用することで、一般のターゲット関数従属（fds）を効率的に処理する、入れ違いのチェイスに基づくアルゴリズムを提示する。『飽和集合』を構築・処理する際のチェイス手順の戦略的順序付けにより、中間結果のサイズとfd適用範囲を削減し、既存のエンジンと比較して顕著な性能およびスケーラビリティの向上を達成する。

ABSTRACT

We address the problem of efficiently evaluating target functional dependencies (fds) in the Data Exchange (DE) process. Target fds naturally occur in many DE scenarios, including the ones in Life Sciences in which multiple source relations need to be structured under a constrained target schema. However, despite their wide use, target fds' evaluation is still a bottleneck in the state-of-the-art DE engines. Systems relying on an all-SQL approach typically do not support target fds unless additional information is provided. Alternatively, DE engines that do include these dependencies typically pay the price of a significant drop in performance and scalability. In this paper, we present a novel chase-based algorithm that can efficiently handle arbitrary fds on the target. Our approach essentially relies on exploiting the interactions between source-to-target (s-t) tuple-generating dependencies (tgds) and target fds. This allows us to tame the size of the intermediate chase results, by playing on a careful ordering of chase steps interleaving fds and (chosen) tgds. As a direct consequence, we importantly diminish the fd application scope, often a central cause of the dramatic overhead induced by target fds. Moreover, reasoning on dependency interaction further leads us to interesting parallelization opportunities, yielding additional scalability gains. We provide a proof-of-concept implementation of our chase-based algorithm and an experimental study aiming at gauging its scalability with respect to a number of parameters, among which the size of source instances and the number of dependencies of each tested scenario. Finally, we empirically compare with the latest DE engines, and show that our algorithm outperforms them.

研究の動機と目的

• データ交換（DE）システムにおけるターゲット関数従属（fds）に起因する性能ボトルネックを解消すること。
• SQLの1階論理的表現力の制限により、fdを処理に苦労するすべてのSQLベースのDEエンジンの限界を乗り越えること。
• ソース依存関係を必要とせず、任意のターゲットfdを効率的に処理できる、スケーラブルでチェイスベースのアプローチを開発すること。
• チェイス手順の知的順序付けにより、中間結果のサイズとfd適用範囲を削減することで、性能とスケーラビリティを向上させること。
• 部分化された飽和集合を基盤とする構造により、並列処理の機会を創出すること。

提案手法

• ターゲットfdとソース・ターゲット間tgdsの評価を、制御的で依存関係に配慮した順序で入れ交ぜる『入れ違いのチェイス』アルゴリズムを導入する。
• 『飽和集合』——すべての関連する依存関係を満たし、以降の処理から安全に除外できる最小のタプル集合——を基盤としてチェイスプロセスを構造化する。
• 静的衝突グラフ解析を用いてfdおよびtgdsの適用順序をガイドし、重複または高コストなfd評価を最小限に抑える。
• DBMSを活用して初期のs-t tgdsの割り当てを計算することで、結合的でない範囲を超えた完全な1階s-t tgdsのサポートを可能にする。
• 飽和集合を段階的に構築・最終化するようにチェイスを設計し、正しさを保ちつつ中間状態の肥大化を低減する。
• インスタンスを独立した飽和集合に分割することで、並列処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1階論理のクエリリライトに依存せずに、データ交換におけるターゲット関数従属を効率的に評価する方法は何か？
• RQ2 s-t tgdsとターゲットfdの間の依存関係の相互作用が、中間結果のサイズと性能に与える影響は何か？
• RQ3 fd評価の範囲とコストを最小限に抑えるチェイスベースのアプローチを設計できるか？
• RQ4 fdとtgdsのステップをインタリーブさせることで、従来のまたは無知のチェイスの変種と比較して、スケーラビリティがどのように向上するか？
• RQ5 飽和集合の分解が、データ交換における並列処理とパフォーマンス向上にどの程度貢献できるか？

主な発見

• 提案された『入れ違いのチェイス』アルゴリズムは、飽和集合を段階的に処理することで中間結果のサイズを顕著に削減し、ターゲットfd評価による性能劣化の主因を直接是正する。
• 本アルゴリズムは、特に依存関係とデータ量が多い状況において、最先端のDEエンジンと比較して数個のオーダーの性能向上を達成する。
• s-t tgdsとターゲットfdの相互作用を活用することで、fd適用の有効範囲を縮小し、顕著なオーバーヘッド削減を実現する。
• 静的衝突グラフ解析により、実世界のデータ交換ワークロードにおいても効果的かつ実用的な最適化を実現できる。
• DBMSベースの評価により、結合的断片にとどまらず、完全な1階s-t tgdsをサポートする。
• インスタンスを飽和集合に分割することで自然な並列処理が可能となり、さらなるスケーラビリティ向上をもたらす。