[论文解读] DataHub: Collaborative Data Science & Dataset Version Management at Scale

Anant Bhardwaj, Souvik Bhattacherjee+5 more|arXiv (Cornell University)|Sep 2, 2014

Scientific Computing and Data Management参考文献 21被引用 112

一句话总结

本文提出 DSVC，一种数据集版本控制系统，以及 DATAHUB，一个面向大规模数据科学的协作平台，其灵感源自 Git，但专为结构化和非结构化数据集进行了优化。该系统支持可扩展的版本控制、分支、合并以及声明式查询，通过新颖的存储和差异计算技术减少冗余，提升协作数据分析的效率。

ABSTRACT

Relational databases have limited support for data collaboration, where teams collaboratively curate and analyze large datasets. Inspired by software version control systems like git, we propose (a) a dataset version control system, giving users the ability to create, branch, merge, difference and search large, divergent collections of datasets, and (b) a platform, DataHub, that gives users the ability to perform collaborative data analysis building on this version control system. We outline the challenges in providing dataset version control at scale.

研究动机与目标

• 解决数据科学团队在大规模协作中缺乏可扩展、协作式数据集版本管理的问题。
• 通过智能版本控制与差异编码技术，减少大规模数据协作中的存储膨胀与数据重复。
• 实现对多用户和持续演化的数据产品之间，数据集版本的高效查询、血缘追踪与检索。
• 提供一个托管平台（DATAHUB），支持协作式数据分析，集成数据清洗、搜索与可视化工具。

提出的方法

• 提出 DSVC，一种支持大规模异构数据集分支、合并与版本化数据管理的数据集版本控制系统。
• 采用双重存储表示：以版本优先结构实现高效检索，以记录优先结构实现高效查询与血缘追踪。
• 使用数据库感知的差异计算技术，识别记录级变更而非文件级差异，提升大规模数据集的处理效率。
• 应用哈希树结构与工作负载感知的存储布局，加速物理差异检测并降低 I/O 开销。
• 引入斯坦纳数据集作为优化点，以最小化版本图中的检索成本。
• 通过索引、缓存与查询结果物化技术，加速常见操作与 VQL（版本化查询语言）的执行。

实验结果

研究问题

• RQ1 如何实现数据集版本控制的可扩展性，以支持管理千兆字节级结构化与非结构化数据的大型分布式数据科学团队？
• RQ2 哪些高效的数据表示与数据结构能够同时支持多版本数据集系统中的快速查询评估与紧凑存储？
• RQ3 如何最优地编码版本图，以在支持分支与合并的同时，最小化存储与检索成本？
• RQ4 哪些技术能够实现无需依赖文件级二进制差异分析的大规模数据集之间高效可扩展的差异计算？
• RQ5 托管平台如 DATAHUB 如何有效集成版本控制与协作式数据分析工作流？

主要发现

• DSVC 支持大规模数据集的高效分支与合并，使以往在传统版本控制或文件系统下不可行的协作式数据科学工作流成为可能。
• 双重表示（版本优先与记录优先）分别实现了高效的检索与高效的查询，性能权衡通过索引与缓存进行管理。
• 数据库感知的差异计算通过识别记录级变更而非依赖内存密集型的文件级差异分析，显著降低了存储开销。
• 在版本图编码中使用斯坦纳数据集，通过优化版本间路径，降低了检索成本。
• 该系统减少了冗余存储，支持数据集的确定性重建，缓解了数据丢失的担忧，提升了可复现性。
• 平台通过文件级 API 实现对数据的透明访问，确保与现有数据科学工作流的向后兼容性。