[論文レビュー] ProvGen: generating synthetic PROV graphs with predictable structure

Hugo Firth, Paolo Missier|arXiv (Cornell University)|Jun 10, 2014

Data Visualization and Analytics参考文献 9被引用数 5

ひとこと要約

ProvGen は、ドメイン固有言語による制約とシード provenance パatters を用いて、ユーザーが制御可能な構造的特性を持つ大規模で合成された provenance グラフを生成する PROV グラフ生成ツールである。このツールは Neo4J の Cypher クエリエンジンを活用し、現実世界の provenance パatters をよく再現するグラフを生成しており、初期評価では Wikipedia の provenance データと、エージェント関連や寄与に関する主要な指標で強い統計的類似性を示している。

ABSTRACT

This paper introduces provGen, a generator aimed at producing large synthetic provenance graphs with predictable properties and of arbitrary size. Synthetic provenance graphs serve two main purposes. Firstly, they provide a variety of controlled workloads that can be used to test storage and query capabilities of provenance management systems at scale. Secondly, they provide challenging testbeds for experimenting with graph algorithms for provenance analytics, an area of increasing research interest. provGen produces PROV graphs and stores them in a graph DBMS (Neo4J). A key feature is to let users control the relationship makeup and topological features of the graph, by providing a seed provenance pattern along with a set of constraints, expressed using a custom Domain Specific Language. We also propose a simple method for evaluating the quality of the generated graphs, by measuring how realistically they simulate the structure of real-world patterns.

研究の動機と目的

• プロビジョニング管理システムのための標準的でコミュニティが承認したベンチマークの欠如に応えるために、制御可能な構造的特性を持つ合成 PROV グラフを生成すること。
• 現実世界のパターンを反映した合成ワークロードを用いて、provenance ストレージ、クエリ、分析システムのスケーラビリティをテストできることを実現すること。
• 研究者がアルゴリズムの開発と評価に適した、多様で現実的な provenance グラフワークロードを生成できるように、設定可能なツールを提供すること。
• 実世界の provenance データセットと比較して、生成されたグラフの統計的性質を評価することにより、その現実性を検証すること。

提案手法

• ユーザーは、目的の provenance パatters（例：Wikipedia におけるドキュメントの改訂）を表すシードグラフを定義し、グラフ構造をガイドする。
• カスタムのドメイン固有言語（DSL）を用いて、ノードおよびエッジの関係に関する制約（例：基数制限や構造的ルール）を指定できる。
• グラフ生成は Neo4J における Cypher クエリによって実装され、リライトルールは CREATE 句に、制約は WHERE 句にマッピングされる。
• ループベースのプロセスにより、ルールと制約を繰り返し適用し、サイズまたは基数制限に達した、または制約がさらなる操作を不可能にするまで処理を継続する。
• 各ノードごとに局所的に制約を評価することで、グローバルな検証の複雑さを回避し、ユーザー定義の性質が保持されることを保証する。
• 評価では、合成グラフと実世界の provenance グラフとの間で、統計的特徴（例：エージェントあたりの平均関連数、エージェントあたりの寄与数）を比較する。

実験結果

リサーチクエスチョン

• RQ1 予測可能でユーザー制御可能なトポロジー的および統計的特性を持つ合成 PROV グラフを生成できるか？
• RQ2 ProvGen が生成する合成グラフは、現実世界の provenance グラフの構造的特徴をどの程度正確に再現できるか？
• RQ3 ドメイン固有の制約言語を用いることで、生成された provenance グラフの構造をどの程度効果的に制御できるか？
• RQ4 ProvGen は、provenance 管理システムのベンチマークに適したスケーラブルな大規模 provenance グラフを生成できるか？

主な発見

• ProvGen が生成した合成グラフは、実際の Wikipedia provenance データの主要な統計的性質をよく再現しており、エージェントあたりの平均関連数（2.9 対実データの 2.4）が顕著に類似している。
• 合成データセットにおけるエージェントあたりの寄与対象エンティティの平均数（1.8）は、実データの値（1.1）に近く、現実的なユーザーの寄与パターンを反映している。
• ユーザーが定義した制約（例：各エンティティが正確に一度だけ使用されること）を効果的に強制できており、線形の Wikipedia 改訂パターンの例でも成功を収めている。
• Neo4J ベースのバックエンドを用いて大規模で構造化されたグラフを生成する可能性が示されたが、トランザクションのオーバーヘッドによるパフォーマンスのボトルネックが観察された。
• 実世界の制御セットと比較した統計的評価フレームワークは、合成 provenance グラフの現実性を評価するための実用的な手法を提供している。