[論文レビュー] Magic Sets for Disjunctive Datalog Programs

Mario Alviano, Wolfgang Faber+2 more|arXiv (Cornell University)|Apr 27, 2012

Logic, Reasoning, and Knowledge参考文献 88被引用数 10

ひとこと要約

本稿では、分岐的 Datalog プログラムに stratified negation を適用した新しい最適化手法である Dynamic Magic Sets (DMS) を提案する。この手法は、非決定的モデル探索フェーズ中に不要なプログラム部を動的に pruning することで、クエリ評価を向上させる。従来の静的 Magic Set 手法とは異なり、DMS は動的バインディング伝搬と未定義集合への形式的関係を活用し、特に不整合なデータベースにおける一貫性のあるクエリ応答において指数的性能向上を達成する。

ABSTRACT

In this paper, a new technique for the optimization of (partially) bound queries over disjunctive Datalog programs with stratified negation is presented. The technique exploits the propagation of query bindings and extends the Magic Set (MS) optimization technique. An important feature of disjunctive Datalog is nonmonotonicity, which calls for nondeterministic implementations, such as backtracking search. A distinguishing characteristic of the new method is that the optimization can be exploited also during the nondeterministic phase. In particular, after some assumptions have been made during the computation, parts of the program may become irrelevant to a query under these assumptions. This allows for dynamic pruning of the search space. In contrast, the effect of the previously defined MS methods for disjunctive Datalog is limited to the deterministic portion of the process. In this way, the potential performance gain by using the proposed method can be exponential, as could be observed empirically. The correctness of MS is established thanks to a strong relationship between MS and unfounded sets that has not been studied in the literature before. This knowledge allows for extending the method also to programs with stratified negation in a natural way. The proposed method has been implemented in DLV and various experiments have been conducted. Experimental results on synthetic data confirm the utility of MS for disjunctive Datalog, and they highlight the computational gain that may be obtained by the new method w.r.t. the previously proposed MS methods for disjunctive Datalog programs. Further experiments on real-world data show the benefits of MS within an application scenario that has received considerable attention in recent years, the problem of answering user queries over possibly inconsistent databases originating from integration of autonomous sources of information.

研究の動機と目的

• 既存の Magic Set 手法が決定的グランドイングフェーズにのみ最適化され、非決定的モデル探索フェーズを無視するという、分岐的 Datalog プログラムにおける非効率性を解消すること。
• バックトラッキング中に作成されたバインディングと仮定を活用し、モデル生成フェーズ中に不要なプログラムコンポONENTを動的に pruning できる最適化手法を開発すること。
• Magic Sets と未定義集合の間の新しい関係を確立し、形式的に正しさを示すことにより、stratified negation を含むプログラムへの拡張を可能にすること。
• DLV システムにこの手法を実装・評価し、合成的および実世界のワークロードにおいて、静的 Magic Sets より優れた性能を示すこと。
• 特に自律的ソースから統合された不整合なデータベースにおける一貫性のあるクエリ応答という実用的応用分野において、本手法の有効性を検証すること。

提案手法

• DMS は、定義が非決定的である Magic Set パラメータを動的に生成し、その拡張を安定モデルごとに変化させることで、モデル探索中に pruning を可能にする。
• クエリからのバインディング伝搬をシミュレートすることでトップダウンのクエリ評価を再現し、そのシミュレーションを新しい規則として定義することで Magic Set パラメータを定義する。
• Magic Sets と未定義集合の間の形式的関係を活用することで、正しさを保証するとともに、stratified negation を含むプログラムへの自然な拡張を可能にする。
• DLV システムに統合し、内部データ構造とグランドイングモジュールを活用して、効率的な実行を実現する。
• 変換後、冗長な規則を削除するために、サブスミーションチェックを適用する。
• バインド済みおよび部分的にバインドされたクエリをサポートし、プログラムインスタンスの関連部分に計算を集中させる。

実験結果

リサーチクエスチョン

• RQ1 Magic Set 最適化は、stratified negation を含む分岐的 Datalog プログラムに効果的に拡張可能であり、グランドイングフェーズを越えて性能向上を達成できるか？
• RQ2 分岐的 Datalog において、非決定的モデル探索フェーズ中に、不要なプログラムコンポONENTをどのように動的に pruning できるか？
• RQ3 分岐的 Datalog における Magic Sets と未定義集合の形式的関係は何か？ そして、その関係は正しさを保証するためにどのように活用できるか？
• RQ4 提案された Dynamic Magic Set 手法は、実行時間および探索空間の削減という観点から、従来の静的 Magic Sets アプローチをどの程度上回るか？
• RQ5 本手法は、不整合な統合データベースにおける一貫性のあるクエリ応答といった実世界のシナリオにおいて、実際に有効に適用可能で有益であるか？

主な発見

• 提案された Dynamic Magic Set (DMS) 手法は、以前に定義された静的 Magic Set (SMS) 手法と比較して、特にモデル生成フェーズにおいて指数的性能向上を達成する。
• 合成データを用いた実験により、DMS が非決定的計算中の探索空間を顕著に削減し、クエリ評価の高速化を実現することが確認された。
• 実世界のデータ統合アプリケーションから得た実データにおいて、DMS は不整合なデータベースにおける効率的な一貫性のあるクエリ応答を可能にし、実用的価値を示した。
• DLV システムへの DMS 結合は、既存の内部データ構造を活用しており、主要なアーキテクチャ変更なしに効率的かつスケーラブルな実行を実現した。
• 本手法の正しさは、未定義集合への新しい接続を用いて形式的に証明され、stratified negation を含むプログラムへの自然な拡張も可能であることが示された。
• 変換後に続くサブスミーションチェックにより、最適化されたプログラム内の冗長な規則が削除され、さらなる性能向上が達成された。