[论文解读] Data Lake Ingestion Management

Yan Zhao, Imen Megdiche+1 more|arXiv (Cornell University)|Jul 5, 2021

Data Quality and Management参考文献 12被引用 6

一句话总结

本文提出了一套全面的元数据模型及其相关的数据湖摄入算法，重点关注数据源、摄入过程和数据集质量的端到端追踪。该研究提出了一套元数据管理系统，提升了数据的可发现性、可访问性和血缘关系，使用户能够高效地发现、重用并管理批处理和实时模式下结构化、半结构化及非结构化格式的摄入数据。

ABSTRACT

Data Lake (DL) is a Big Data analysis solution which ingests raw data in their native format and allows users to process these data upon usage. Data ingestion is not a simple copy and paste of data, it is a complicated and important phase to ensure that ingested data are findable, accessible, interoperable and reusable at all times. Our solution is threefold. Firstly, we propose a metadata model that includes information about external data sources, data ingestion processes, ingested data, dataset veracity and dataset security. Secondly, we present the algorithms that ensure the ingestion phase (data storage and metadata instanciation). Thirdly, we introduce a developed metadata management system whereby users can easily consult different elements stored in DL.

研究动机与目标

• 解决数据湖中数据摄入的关键挑战，即原始数据在未经转换的情况下存储，但需要强大的元数据以确保信任和可用性。
• 通过系统化的元数据管理，防止数据湖演变为“数据沼泽”，确保数据可发现、可访问、可互操作且可重用。
• 设计并实现一个形式化的元数据模型，用于捕获数据源、摄入过程、数据集特征、真实性及安全级别。
• 设计并实现一个元数据管理系统，通过Web界面支持用户友好地发现和重用摄入的数据集。
• 通过捕获源代码、执行日志和时间戳等过程级元数据，实现端到端的数据血缘追踪，适用于批处理和实时摄入。

提出的方法

• 设计一个包含五个核心类的概要元数据模式：DatasetSource、Ingest、DatalakeDataset、VeracityIndex 和 SensitivityMark，用于建模摄入元数据。
• 引入一个形式化的元数据模型，包含内部元数据（数据集特定）、交叉元数据（数据集之间的关系）和全局元数据（共享字典）。
• 开发摄入过程中的元数据供给算法，捕获源代码、执行细节、时间戳、日志和错误信息。
• 实现一个基于Web的元数据管理系统，使用户能够查询、浏览并可视化真实数据集的元数据。
• 支持多种数据类型（结构化、半结构化、非结构化）和多种摄入模式（批处理、实时），并保持一致的元数据捕获。
• 将安全性和质量度量（真实性指数）集成到元数据模型中，以支持访问控制和数据治理。

实验结果

研究问题

• RQ1 如何设计一个全面的元数据模型，以捕获数据湖中数据摄入的所有关键方面？
• RQ2 在摄入阶段，哪些元数据类别对于确保数据血缘关系、信任度和治理至关重要？
• RQ3 如何在批处理和实时摄入过程中系统化地生成和存储元数据？
• RQ4 哪些机制能够使用户通过元数据高效地发现、访问和重用摄入的数据集？
• RQ5 所提出的模型在捕获摄入过程细节和数据血缘关系方面，相较于现有方法有何优势？

主要发现

• 所提出的元数据模型是首个在统一框架中全面涵盖数据源、摄入过程、数据集特征、真实性及安全性的模型。
• 该系统支持批处理和实时摄入模式，完整捕获元数据，包括开始/结束时间、持续时间、日志和执行上下文。
• 真实性与敏感性元数据的引入支持了数据治理和访问控制，提升了信任度和合规性。
• 基于Web的元数据管理系统使用户能够通过直观的搜索和可视化功能，轻松探索和互操作摄入的数据集。
• 与GOODS和MEDAL等现有解决方案相比，该模型支持更丰富的元数据类型，包括用户自定义的数据集关系和全局元数据字典。
• 该方法实现了从源头到使用的完整数据血缘追踪，保留了源代码URL和执行日志等过程级元数据，以支持可重现性。