[論文レビュー] Provenance as Dependency Analysis

James Cheney, Amal Ahmed+1 more|ArXiv.org|Aug 16, 2007

Scientific Computing and Data Management参考文献 26被引用数 5

ひとこと要約

本稿では、プログラム解析およびスリングの技術を用いて、データベースクエリの出力の一部が特定の入力データにどのように依存しているかを追跡するための形式的基盤として、依存関係プロヴァナンスを提案する。最小限の依存関係プロヴァナンスは計算不能であるが、動的および静的近似手法を導入することで、グループ化、集計、および否定を含む複雑なクエリにおけるデバッグおよびプロヴァナンス分析のための正確なデータスライシングを可能にする。

ABSTRACT

Provenance is information recording the source, derivation, or history of some information. Provenance tracking has been studied in a variety of settings; however, although many design points have been explored, the mathematical or semantic foundations of data provenance have received comparatively little attention. In this paper, we argue that dependency analysis techniques familiar from program analysis and program slicing provide a formal foundation for forms of provenance that are intended to show how (part of) the output of a query depends on (parts of) its input. We introduce a semantic characterization of such dependency provenance, show that this form of provenance is not computable, and provide dynamic and static approximation techniques.

研究の動機と目的

• 依存関係解析を用いて、広範なクエリの特徴（グループ化、集計、否定など）を考慮した、データベースクエリにおけるプロヴァナンスの形式的意味的基盤を確立すること。
• 従来のプロヴァナンスモデルが、グループ化、集計、否定などの複雑なクエリ機能にスケーリングできないという限界を解決すること。
• 特定の出力値に影響を与える入力データの部分を正確に特定できることで、データ分析におけるデバッグおよび信頼性評価を支援すること。
• 依存関係プロヴァナンスの実用的応用、例えばエラー診断のための前方および後方データスライスの計算を探索すること。
• スリングや情報フローといったプログラム解析技術を、データラインエージェンシーのより豊かで形式的な推論を可能にするために、データベースプロヴァナンスと統合すること。

提案手法

• ネストドリレーショナル記述式（ネストドリレーショナル記述式）というコアの一次式クエリ言語に対して、依存関係プロヴァナンスの意味的特徴付けを導入し、出力の一部が入力の一部に依存する条件を定義する。
• 依存関係を因果的関係として定義：入力の一部の変更が、出力の一部に影響を与える可能性があることを、データアトム上の依存関係関係として形式化する。
• クエリ実行のインストルメンテーションを通じた動的プロヴァナンス追跡を提案し、トレースベースのアプローチを用いて実行時に依存関係を即座に記録する。
• クエリを実行せずに依存関係を近似するための静的解析技術を開発し、クエリツリー上のデータフロー解析を用いる。
• 依存関係モデルを応用して、前方および後方のデータスライス（特定の出力値に関連する入力または出力の部分集合）を計算する。
• 自己調整計算にインspiredされたトレースベースの実行モデルを用い、クエリ処理の副作用としてプロヴァナンス情報を維持する。

実験結果

リサーチクエスチョン

• RQ1 プログラムスリングからの依存関係解析が、複雑なデータベースクエリにおけるデータプロヴァナンスのための原理的基盤として形式的に適応可能か？
• RQ2 リレーショナルクエリにおいてグループ化、集計、および否定が存在する状況下での、依存関係プロヴァナンスの意味的特徴付けは何か？
• RQ3 最小限の依存関係プロヴァナンスは計算可能か？もし不可能であれば、理論的および実用的意味は何か？
• RQ4 動的および静的近似技術をどのように活用して、大規模データベースシステムにおけるプロヴァナンスを効率的に計算できるか？
• RQ5 依存関係プロヴァナンスは、現実のクエリワークロードにおける実用的応用（例えば、データスライシングやエラー診断）をどの程度サポートできるか？

主な発見

• 最小限の依存関係プロヴァナンスは計算不能であり、チューリングマシンの停止問題への還元により示された。これは、複雑なクエリにおいて入力の変更が出力に影響を与えるかどうかを決定する問題が、決定不能であるためである。
• インストルメンテッドクエリ実行による動的プロヴァナンス追跡は、実行時に正確な依存関係を捕捉でき、正確なデータスライシングおよびエラー局所化を可能にする。
• 静的近似技術は、クエリを実行せずに依存関係を推定でき、実行性能の向上が得られるが、若干の精度の損失を伴う。
• 本アプローチは、前方および後方のデータスライスを効果的に計算でき、特定の出力値に関連する入力データを明確に特定する。例えば、例における誤った負の分子量を特定するのに有効である。
• プロトタイプ実装は、依存関係プロヴァナンスの実装可能性と実用性を示しており、特に科学的および分析的ワークフローにおけるデバッグおよび信頼性評価において有効である。
• このフレームワークは拡張可能であり、Fable や自己調整計算といった既存のシステムとも互換性があるため、セキュアでインクリメンタルなデータベースシステムへの統合可能性が示唆される。