[论文解读] Coining goldMEDAL: A New Contribution to Data Lake Generic Metadata Modeling

Étienne Scholly, Pegdwendé N. Sawadogo+6 more|arXiv (Cornell University)|Mar 24, 2021

Data Quality and Management参考文献 18被引用 12

一句话总结

本文提出 goldMEDAL，一种用于数据湖的高通用性元数据模型，通过四大核心概念——数据实体、分组、链接和处理——对现有模型进行泛化，实现了对多样化数据湖架构的灵活建模。该模型通过复现最先进模型验证了其通用性，并在异构数据环境中实现了三种物理实现。

ABSTRACT

The rise of big data has revolutionized data exploitation practices and led to the emergence of new concepts. Among them, data lakes have emerged as large heterogeneous data repositories that can be analyzed by various methods. An efficient data lake requires a metadata system that addresses the many problems arising when dealing with big data. In consequence, the study of data lake metadata models is currently an active research topic and many proposals have been made in this regard. However, existing metadata models are either tailored for a specific use case or insufficiently generic to manage different types of data lakes, including our previous model MEDAL. In this paper, we generalize MEDAL's concepts in a new metadata model called goldMEDAL. Moreover, we compare goldMEDAL with the most recent state-of-the-art metadata models aiming at genericity and show that we can reproduce these metadata models with goldMEDAL's concepts. As a proof of concept, we also illustrate that goldMEDAL allows the design of various data lakes by presenting three different use cases.

研究动机与目标

• 解决现有数据湖元数据模型缺乏通用性的问题，这些模型通常针对特定用例定制，或缺乏可扩展性。
• 克服先前模型（如 MEDAL 和 GEMMS）的局限性，这些模型无法支持非结构化数据、数据血缘或动态元数据管理。
• 提供一种正式且可重用的元数据建模框架，支持结构化与非结构化数据湖，实现完整的血缘追踪与语义增强。
• 实现 goldMEDAL 到多种物理实现的映射，证明其在真实世界数据湖部署中的适应能力。
• 通过提供工业层支持，使非技术用户能够利用数据湖，从而支持 FAIR 原则（可发现性、可访问性、互操作性、可重用性）。

提出的方法

• 采用三级建模方法：概念层、逻辑层（使用图论）和物理层，以确保形式化严谨性与实现就绪性。
• 定义四大核心概念：数据实体（原始或处理后的数据）、分组（按区域或层级进行的逻辑组织）、链接（语义或结构关系）、处理（数据血缘与转换工作流）。
• 使用形式化表示消除歧义，同时使用 UML 图表提升可读性与可访问性。
• 将 goldMEDAL 概念映射为三种不同的物理模型：用于 Hadoop 系统的 Apache Atlas，用于语义增强的基于图的模型，以及用于轻量级集成的基于 JSON 的模型。
• 通过将最先进模型（如 GEMMS、Ground、HANDLE、Ravat & Zhao）的关键特性映射并复现于 goldMEDAL 的核心概念，证明其通用性。
• 集成同义词典与基于链接的元数据（如同义词、反义词），以支持语义互操作性与动态数据发现。

实验结果

研究问题

• RQ1 能否设计一种元数据模型，使其在形式化严谨性与跨异构数据湖架构的广泛适用性之间取得平衡？
• RQ2 goldMEDAL 在数据单元、血缘与元数据类型等核心概念上，能在多大程度上泛化现有元数据模型？
• RQ3 元数据模型如何支持完整的数据血缘追踪与处理流程跟踪，特别是在非结构化或半结构化数据环境中？
• RQ4 goldMEDAL 是否能有效映射并实现于真实世界的物理元数据系统（如 Apache Atlas 或基于图的存储库）？
• RQ5 元数据建模在多大程度上能够支持非技术用户访问与分析数据湖，从而推动 FAIR 原则的实现？

主要发现

• goldMEDAL 通过其四大基础抽象，成功泛化了现有元数据模型，包括 GEMMS、Ground、HANDLE 和 Ravat & Zhao，能够表达其核心概念。
• 该模型通过‘处理’概念原生支持数据血缘，这一能力在近期模型（如 HANDLE）中缺失，是动态数据管理领域的重要进步。
• 三种不同的物理实现——Apache Atlas、基于图的模型和基于 JSON 的模型——证明了 goldMEDAL 在不同技术栈与数据类型中的多功能性。
• 通过集成同义词典与语义链接（如同义词、相关术语），实现了高级元数据发现，支持异构数据湖中的互操作性。
• goldMEDAL 的形式化与模块化设计使其能够系统性地映射至真实世界的元数据系统，提升了可重用性与可维护性。
• 该模型通过语义增强与用户友好的元数据访问层，支持 FAIR 原则，尤其在可发现性、可访问性与可重用性方面表现突出。