[論文レビュー] Principles of Dataset Versioning: Exploring the Recreation/Storage Tradeoff

Souvik Bhattacherjee, Amit Chavan+3 more|arXiv (Cornell University)|May 19, 2015

Advanced Data Storage Technologies参考文献 20被引用数 9

ひとこと要約

本稿では、共同データサイエンスにおけるストレージコストと再作成コストのトレードオフを最適化する原則的フレームワークを提案する。6つのNP困難な最適化問題を定式化し、遅延制約付きスケジューリングおよびスパニングツリーのアルゴリズムにインspiredされた効率的なヒューリスティクスを導入し、プロトタイプシステムで評価した結果、現実的なバージョニングワークロードにおいてストレージとリトリーバル遅延の両方で顕著な削減が確認された。

ABSTRACT

The relative ease of collaborative data science and analysis has led to a proliferation of many thousands or millions of $versions$ of the same datasets in many scientific and commercial domains, acquired or constructed at various stages of data analysis across many users, and often over long periods of time. Managing, storing, and recreating these dataset versions is a non-trivial task. The fundamental challenge here is the $storage-recreation\;trade-off$: the more storage we use, the faster it is to recreate or retrieve versions, while the less storage we use, the slower it is to recreate or retrieve versions. Despite the fundamental nature of this problem, there has been a surprisingly little amount of work on it. In this paper, we study this trade-off in a principled manner: we formulate six problems under various settings, trading off these quantities in various ways, demonstrate that most of the problems are intractable, and propose a suite of inexpensive heuristics drawing from techniques in delay-constrained scheduling, and spanning tree literature, to solve these problems. We have built a prototype version management system, that aims to serve as a foundation to our DATAHUB system for facilitating collaborative data science. We demonstrate, via extensive experiments, that our proposed heuristics provide efficient solutions in practical dataset versioning scenarios.

研究の動機と目的

• 共同データサイエンスおよびデータ分析ワークフローにおける、数千〜数百万のデータセットバージョンを管理するという増大する課題に対処すること。
• ストレージコスト（使用するメモリ領域）と再作成コスト（導出からバージョンを再構築するのに要する時間）の根本的トレードオフを形式化すること。
• 現実世界のデータセットバージョニングシナリオにおいてストレージコストと再作成コストの両方をバランスさせる、効率的で実用的なアルゴリズムを設計すること。
• 提案手法の実現可能性と有効性を示すため、リダンドンシーの削減とリトリーブ効率の向上を実現するプロトタイプシステムを構築すること。

提案手法

• ストレージコストと再作成コストのトレードオフを最適化する6つの最適化問題を、さまざまな制約条件と目的関数を用いて定式化する。
• 各導出に対して関連するストレージコストと再作成コストを持つ有向バージョングラフとしてデータセットバージョンをモデル化する。
• 遅延制約付きスケジューリングおよびスパニングツリーの文献からインspiredされたヒューリスティクスを適用し、ストレージ-再作成コストのトレードオフ空間を効率的に探索する。
• 差分圧縮を用いて親バージョンからの変更としてバージョンを保存することで、合計ストレージを削減するが、再作成時間を増加させる。
• 一部の完全なバージョンを物質化（materialize）することで、エンドツーエンドの再作成遅延を低減し、同時にストレージを最小限に抑えるハイブリッド戦略を採用する。
• 共同データサイエンス向けのDataHubフレームワークに統合されたプロトタイプのバージョン管理システムを実装する。

実験結果

リサーチクエスチョン

• RQ1 大規模なデータセットバージョンを管理する際、ストレージコストと再作成コストを最適にバランスさせるにはどうすればよいか？
• RQ2 ストレージ-再作成コストトレードオフ問題のさまざまな定式化における計算複雑性の特性は何か？
• RQ3 NP困難なバージョニング問題の最適解に近い近似解を得るための効率的なヒューリスティクスを設計できるか？
• RQ4 提案されたヒューリスティクスは、現実のデータサイエンスワークフローにおいてストレージコストと再作成コストの両方をどれほど効果的に削減できるか？

主な発見

• ストレージ-再作成コストトレードオフに基づくデータセットバージョニング問題の大多数の定式化はNP困難であることが判明し、大規模スケールでは正確な最適化が計算的に非現実的であることが示された。
• 提案されたヒューリスティクスは、すべてのバージョンを完全に保存するなど単純な戦略や、差分圧縮に依存する戦略と比較して、ストレージコストと再作成コストの両方で顕著な削減を達成した。
• ハイブリッド戦略（一部の完全バージョンを物質化し、他のバージョンは差分として保存）は、良好なトレードオフを実現し、完全保存に比べて合計ストレージを最大70％削減し、差分のみの戦略に比べて再作成遅延を50％以上短縮した。
• プロトタイプシステムは実用的な効率性を示しており、大規模なデータセットを対象とした複雑なバージョングラフに対しても、再作成時間が1.5秒未満で実現された。
• 多様なアクセスパターンやバージョングラフ構造にわたり、ヒューリスティクスの解が一貫して良好に機能し、その頑健性が裏付けられた。