[論文レビュー] Distribution Constraints: The Chase for Distributed Data

Serge Abiteboul, Émilien Antoine+1 more|arXiv (Cornell University)|Apr 15, 2013

Scientific Computing and Data Management参考文献 18被引用数 2

ひとこと要約

本論文では、委任を介して自律的ペア同士で分散データおよびルールを共有できる宣言的で、Datalogベースの言語であるWebdamLogを提示する。ユーザースタディおよびパフォーマンス評価を通じて、非専門家が効果的にルールを記述できること、およびBud Datalogエンジンを用いることで、動的でスケーラブルな分散環境におけるデータ管理を効率的に行えることが示された。

ABSTRACT

This paper introduces a declarative framework to specify and reason about distributions of data over computing nodes in a distributed setting. More specifically, it proposes distribution constraints which are tuple and equality generating dependencies (tgds and egds) extended with node variables ranging over computing nodes. In particular, they can express co-partitioning constraints and constraints about range-based data distributions by using comparison atoms. The main technical contribution is the study of the implication problem of distribution constraints. While implication is undecidable in general, relevant fragments of so-called data-full constraints are exhibited for which the corresponding implication problems are complete for EXPTIME, PSPACE and NP. These results yield bounds on deciding parallel-correctness for conjunctive queries in the presence of distribution constraints.

研究の動機と目的

• ソーシャルネットワークや個人情報管理のような動的環境において、自律的ペア間で分散型で協働的なデータ管理を可能にすること。
• 非技術的ユーザーが分散データおよび論理ルールを記述・管理できるようにする課題に対処すること。
• 宣言的言語を用いて、データおよび論理（プログラム）をペア間で効率的かつスケーラブルに分散するシステムを設計・実装すること。
• WebdamLogの実世界の分散データ管理ワークロードにおける実現可能性およびパフォーマンスを評価すること。

提案手法

• 動的でピアツーピアの知識共有を可能にするために、Datalogに委任、ピア変数、述語変数、分散ルール実行を拡張する。
• 半ナイーブ評価や効率的なネットワーク通信といった既存の最適化を活用するため、バックエンドにBud Datalogエンジンを採用する。
• 論理的ルールの再書き換えを用いて、WebdamLogの高水準機能（ルールの委任、分散クエリ評価など）を効率的に実装する。
• クエリ・サブクエリ（QSQ）最適化を採用し、リモートのピアに送信するデータを最小限に抑えることで、データ転送を削減する。
• 非CS分野のユーザーを対象としたユーザースタディを実施し、WebdamLogの習得可能性および正しさを評価する。
• 複数のピアをまたがる分散クエリ実行におけるエンドツーエンドの遅延とオーバーヘッドを測定するパフォーマンス実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 非技術的ユーザーは、実世界の分散データ管理タスクに対して、WebdamLogのルールを効果的に記述・理解できるか？
• RQ2 動的データおよびルールの更新を伴う分散型、ピアツーピア環境において、WebdamLogはどの程度スケーラブルに動作するか？
• RQ3 既存のDatalog最適化技術は、委任や分散ルール実行といったWebdamLogの新機能をサポートするためにどの程度適応可能か？
• RQ4 QSQスタイルの最適化は、分散クエリ処理における通信オーバーヘッドをどの程度低減できるか？

主な発見

• ユーザースタディの結果、非コンピュータサイエンティストを含む参加者が、最小限のトレーニングで正しいWebdamLogルールを記述でき、非専門家向けの使いやすさが裏付けられた。
• WebdamLogシステムは、分散ユニオンを実行した際、ローカルピア（sue）で9.9％のオーバーヘッドにとどまり、高水準言語機能がわずかなパフォーマンスコストしか追加しないことを示した。
• QSQスタイルの最適化により、必要なデータのサブセットのみの場合に、クエリ応答時間が顕著に短縮された。これは、分散環境におけるデータ転送を最小限に抑える有効性を示している。
• Bud Datalogエンジンは、ルールの委任やピアレベルでのルール実行といったWebdamLogの高度な機能を、低いリモート計算オーバーヘッド（例：1リモートピアあたり0.04秒）で効果的にサポートした。
• データが意図的に（ルールによって定義される）であるため、新しい友人や除外されたソースといった動的更新に対して、結果が自動的に進化することを示した。
• 実装により、複雑な宣言的論理が分散型で自律的なピア環境でも効率的に実行可能であることが実証され、ソーシャルフォトアルバムのような実世界の応用分野において実用的であることが示された。