[论文解读] Dataspace architecture and manage its components class projection

Nataliya Shakhovska, Yurii Bolubash|arXiv (Cornell University)|May 3, 2019

Advanced Database Systems and Queries参考文献 8被引用 4

一句话总结

本文提出一种数据空间架构，通过类投影和块向量表示，实现异构数据源的灵活、无模式依赖的集成，从而降低前期语义集成的工作量。该架构基于 SQL Server Integration Services (SSIS) 和 MVC 模式实现，查询转换器采用巴克斯-诺尔范式（Backus-Naur Form）定义，展示了一种无需严格模式对齐的可扩展数据集成方法。

ABSTRACT

Big Data technology is described. Big data is a popular term used to describe the exponential growth and availability of data, both structured and unstructured. There is constructed dataspace architecture. Dataspace has focused solely - and passionately - on providing unparalleled expertise in business intelligence and data warehousing strategy and implementation. Dataspaces are an abstraction in data management that aims to overcome some of the problems encountered in data integration system. In our case it is block vector for heterogeneous data representation. Traditionally, data integration and data exchange systems have aimed to offer many of the purported services of dataspace systems. Dataspaces can be viewed as a next step in the evolution of data integration architectures, but are distinct from current data integration systems in the following way. Data integration systems require semantic integration before any services can be provided. Hence, although there is not a single schema to which all the data conforms and the data resides in a multitude of host systems, the data integration system knows the precise relationships between the terms used in each schema. As a result, significant up-front effort is required in order to set up a data integration system. For realization of data integration from different sources we used SQL Server Integration Services, SSIS. For developing the portal as an architectural pattern there is used pattern Model-View-Controller (MVC). There is specifics debug operation data space as a complex system. The query translator in Backus/Naur Form is give.

研究动机与目标

• 解决传统数据集成系统中语义集成的高昂前期成本问题。
• 在无需统一模式的情况下，实现对异构数据源的灵活、动态集成。
• 设计一种支持复杂数据操作和查询转换的数据空间架构。
• 使用 SSIS 和 MVC 实现原型，以支持实际的数据管理和门户开发。
• 在巴克斯-诺尔范式（Backus-Naur Form）中定义查询转换器，实现在数据空间中标准化的查询处理。

提出的方法

• 设计一种通过类投影和块向量表示抽象数据源的数据空间架构，以支持异构数据。
• 使用 SQL Server Integration Services (SSIS) 实现 ETL 过程，并从多种数据源进行数据集成。
• 应用模型-视图-控制器（Model-View-Controller, MVC）架构模式，开发模块化且可维护的数据访问门户。
• 使用巴克斯-诺尔范式（Backus-Naur Form, BNF）定义查询转换器，以标准化并处理数据空间中的查询。
• 构建数据空间以支持无需预定义模式映射的动态数据访问。
• 聚焦于业务智能和数据仓库用例，确保实际适用性。

实验结果

研究问题

• RQ1 如何通过数据空间架构减少数据集成系统中对前期语义集成的需求？
• RQ2 在无统一模式的情况下，管理异构数据源所必需的架构组件有哪些？
• RQ3 类投影和块向量如何有效在统一抽象中表示多种数据类型？
• RQ4 MVC 模式在提升数据管理门户的开发与可维护性方面发挥何种作用？
• RQ5 如何通过巴克斯-诺尔范式（BNF）定义的查询转换器实现在去中心化数据空间中的标准化查询处理？

主要发现

• 所提出的数据空间架构成功将数据集成与模式对齐解耦，降低了初始设置的复杂性。
• 类投影和块向量表示能够有效建模异构数据，而无需依赖共同的模式。
• 使用 SSIS 有助于实现可靠的 ETL 操作，并在异构数据源之间实现数据传输。
• 基于 MVC 的门户实现提供了可扩展且可维护的数据访问与管理接口。
• 采用 BNF 定义的查询转换器实现了数据空间中一致且形式化的查询处理。
• 该方法在复杂、异构环境中对业务智能和数据仓库工作负载展示了可行性。