[论文解读] An Approach to Handle Big Data Warehouse Evolution

Darja Solodovnikova, Laila Niedrite|arXiv (Cornell University)|Sep 12, 2018

Advanced Database Systems and Queries参考文献 10被引用 3

一句话总结

本文提出了一种基于元数据驱动的数据仓库架构，旨在通过支持异构、多源数据的OLAP类似分析（具有不同延迟）来应对大数据仓库中的演化问题。该方法利用动态元数据管理，以适应不断变化的数据源和不断演进的分析需求，从而在大数据环境中实现灵活且可扩展的数据仓库管理。

ABSTRACT

One of the purposes of Big Data systems is to support analysis of data gathered from heterogeneous data sources. Since data warehouses have been used for several decades to achieve the same goal, they could be leveraged also to provide analysis of data stored in Big Data systems. The problem of adapting data warehouse data and schemata to changes in these requirements as well as data sources has been studied by many researchers worldwide. However, innovative methods must be developed also to support evolution of data warehouses that are used to analyze data stored in Big Data systems. In this paper, we propose a data warehouse architecture that allows to perform different kinds of analytical tasks, including OLAP-like analysis, on big data loaded from multiple heterogeneous data sources with different latency and is capable of processing changes in data sources as well as evolving analysis requirements. The operation of the architecture is highly based on the metadata that are outlined in the paper.

研究动机与目标

• 解决大数据环境中数据仓库模式和数据源演化带来的挑战。
• 支持来自多样化、异构数据源的分析工作负载，包括OLAP类似查询，且这些数据源具有不同的数据延迟。
• 实现数据仓库结构对不断变化的分析需求和数据源变更的动态适应。
• 通过集中化元数据管理，提供可扩展且可扩展的大数据仓库演化框架。
• 确保在统一数据仓库环境中，异构数据源之间具备互操作性和一致性。

提出的方法

• 设计一种模块化数据仓库架构，配备元数据层以追踪模式、数据血缘关系及ETL流程。
• 将来自多个异构数据源（例如批处理和实时流）的元数据集成到集中式元数据存储库中。
• 利用元数据动态配置ETL流水线和物化视图，以适应不断演进的分析需求。
• 通过跟踪源数据源中的模式变更，并利用元数据驱动的转换规则进行传播，实现模式演化。
• 通过元数据定义的层次结构和度量值，物化多维立方体，实现OLAP类似分析。
• 将数据处理逻辑与元数据解耦，实现在不修改模式结构的情况下实现运行时自适应。

实验结果

研究问题

• RQ1 在大数据环境中，如何使数据仓库架构能够动态适应数据源变更和不断演化的分析需求？
• RQ2 元数据在支持异构数据源之间的模式演化和数据集成方面发挥什么作用？
• RQ3 在处理具有不同延迟的数据的大数据仓库中，如何有效支持OLAP类似分析能力？
• RQ4 哪些机制可确保在数据源演化过程中，数据转换的一致性和可追溯性？
• RQ5 元数据驱动设计如何提升大数据仓库的可维护性和可扩展性？

主要发现

• 所提出的架构能够无缝处理来自异构数据源、具有不同延迟特性的数据，包括批处理和实时数据。
• 元数据驱动设计允许在不修改底层模式结构的情况下，对ETL流程和物化视图进行动态重新配置。
• 通过更新元数据而非重写ETL逻辑或数据库模式，系统能够支持分析需求的演化。
• 该架构通过元数据定义的层次结构和度量值，支持OLAP类似分析，实现在大数据上的多维查询。
• 通过集中化元数据管理并解耦逻辑与模式定义，该方法显著降低了数据仓库演进的运维开销。
• 该解决方案通过在IFIP W.G. 2.6工作组研讨会上的集成，验证了其在真实场景中的可行性，证明了其在大数据管理场景中的适用性。