[論文レビュー] Towards a unified query language for provenance and versioning

Amit Chavan, Silu Huang+4 more|arXiv (Cornell University)|Jun 16, 2015

Scientific Computing and Data Management参考文献 22被引用数 6

ひとこと要約

本稿では、共同データサイエンスワークフローにおけるバージョン管理済みデータセットおよびそのプロバンセンスを照会するための統合クエリ言語であるVQuelを提案する。この言語は、分岐したバージョン履歴およびタプルレベルのプロバンセンスを対象とする表現力豊かなグラフ走査ベースのクエリを可能にし、SQL や既存のプロバンセンス言語では不可能な複雑な分析タスクを支援する。

ABSTRACT

Organizations and teams collect and acquire data from various sources, such as social interactions, financial transactions, sensor data, and genome sequencers. Different teams in an organization as well as different data scientists within a team are interested in extracting a variety of insights which require combining and collaboratively analyzing datasets in diverse ways. DataHub is a system that aims to provide robust version control and provenance management for such a scenario. To be truly useful for collaborative data science, one also needs the ability to specify queries and analysis tasks over the versioning and the provenance information in a unified manner. In this paper, we present an initial design of our query language, called VQuel, that aims to support such unified querying over both types of information, as well as the intermediate and final results of analyses. We also discuss some of the key language design and implementation challenges moving forward.

研究の動機と目的

• 共同データサイエンスプラットフォームにおけるバージョニングとプロバンセンスのための統合クエリ言語の欠如に対処すること。
• 大規模かつ多様なデータセットにおける分岐バージョングラフおよびタプルレベルのプロバンセンスに対する表現力豊かなクエリをサポートすること。
• データサイエンティストが低レベルのスクリプトを書かずに、データセットの進化、ラインエージェンス、およびバージョン間の差異を効率的に分析できるようにすること。
• バージョン認識およびプロバンセンス認識の両方の操作を統合的に扱える1つの包括的フレームワークとしてのクエリ言語を設計すること。
• 圧縮されたバージョン管理データストア上で、このようなクエリの効率的実行と最適化の基盤を構築すること。

提案手法

• 歴史的言語（Quel や GEM）をインspired にしたクエリ言語として VQuel を設計し、時間的およびグラフ走査構文を拡張する。
• バージョングラフをナビゲートするための範囲およびパス式を導入し、たとえば 'V.N(2)' で2ステップ先のバージョンにアクセスできるようにする。
• グラフクエリ言語に類似した構文を用いて、バージョン導出グラフ上のパスクエリおよび再帰的走査をサポートする。
• 'count(V.Relations.Tuples)' や 'abs(diff)' のような式により、バージョン間での集計および比較を可能にする。
• 'parents' および 'id' のジョインを用いて、導出タプルから元のタプルへのラインエージェンスを追跡する、タプルレベルのプロバンセンスクエリを可能にする。
• ハイブリッド実行戦略を提案：まずメタデータおよびバージョングラフを用いてバージョンをフィルタリングし、その後選択されたバージョン上で再構築してクエリを実行する。

実験結果

リサーチクエスチョン

• RQ1 構造化データセットの分岐したバージョン履歴に対して、複雑な操作を効率的に表現できるクエリ言語はどのように設計できるか？
• RQ2 共同データサイエンスにおけるバージョニングとプロバンセンスクエリを統合するために必要な言語的構文は何か？
• RQ3 重複する多数の大きなデータセットバージョンに対して、完全な再構築なしに効率的にクエリを実行するにはどうすればよいか？
• RQ4 バージョン管理データシステムにおいて、ストレージの圧縮とクエリパフォーマンスのトレードオフはどのようなものか？
• RQ5 インタラクティブなデータ分析を目的とした高水準クエリ言語に、タプルレベルのプロバンセンスをどのように統合できるか？

主な発見

• VQuel は、たとえば指定されたコミット数以内のバージョンを検索する、またはバージョン間のタプル数を比較するなど、バージョン管理データセットに対して表現力豊かなグラフ走査ベースのクエリを可能にする。
• この言語はパスクエリおよびラインエージェンスの追跡をサポートし、再帰的な親関係をたどることで、タプルの元のソースを特定できる。
• 'v01 から2コミット以内で100人未満の従業員を有するすべてのバージョンを検索する' といったクエリは、簡潔で読みやすい形で表現可能である。
• 本稿では、再構築されたバージョン上でナイーブにクエリを実行すると、特に重複するバージョン数が多い場合に計算コストが高くなることが同定されている。
• 主な課題は、完全な再構築コストを回避するために、圧縮された表現そのもので直接処理できる実行技術を開発することにある。
• 著者らは、まずメタデータおよびバージョングラフを用いて関連するバージョンをフィルタリングし、その後再構築されたバージョン上でクエリを実行する2段階の実行モデルを提案しているが、効率的な圧縮対応実行は依然としてオープンな研究課題のままである。