[论文解读] Distributed Heterogeneous Relational Data Warehouse In A Grid Environment

Saima Iqbal, Julian Bunn+1 more|arXiv (Cornell University)|Jun 18, 2003

Distributed and Parallel Computing Systems参考文献 1被引用 14

一句话总结

本文提出一种基于网格的框架，通过Web服务将分布式的异构关系型数据仓库集成到统一的虚拟数据库系统中。通过扩展现有网格中间件，实现了跨多个站点的安全、透明的数据访问——以SQL Server和Oracle9i为例进行了验证，实现了对HEP和其它科学用户所需的大规模与小规模对象集合的高效查询。

ABSTRACT

This paper examines how a "Distributed Heterogeneous Relational Data Warehouse" can be integrated in a Grid environment that will provide physicists with efficient access to large and small object collections drawn from databases at multiple sites. This paper investigates the requirements of Grid-enabling such a warehouse, and explores how these requirements may be met by extensions to existing Grid middleware. We present initial results obtained with a working prototype warehouse of this kind using both SQLServer and Oracle9i, where a Grid-enabled web-services interface makes it easier for web-applications to access the distributed contents of the databases securely. Based on the success of the prototype, we proposes a framework for using heterogeneous relational data warehouse through the web-service interface and create a single "Virtual Database System" for users. The ability to transparently access data in this way, as shown in prototype, is likely to be a very powerful facility for HENP and other grid users wishing to collate and analyze information distributed over Grid.

研究动机与目标

• 使物理学家和HEP用户能够高效访问跨多个网格站点的分布式关系型数据。
• 解决将异构数据库（例如SQL Server、Oracle9i）集成到统一数据访问层的挑战。
• 通过标准化的Web服务接口抽象分布式数据源，降低Web应用程序的复杂性。
• 扩展现有网格中间件，以支持数据仓库工作负载和异构数据集成。
• 创建一个单一的逻辑‘虚拟数据库系统’，隐藏底层数据分布和异构性，对最终用户透明。

提出的方法

• 设计并实现一个Web服务接口，将分布式关系型数据库暴露为单一的逻辑数据源。
• 利用扩展后的现有网格中间件，支持在异构数据库之间实现安全、可扩展的数据访问。
• 使用标准协议（例如SOAP、WSDL）实现异构数据库系统与客户端应用程序之间的互操作性。
• 通过Web服务包装器将SQL Server和Oracle9i数据库集成到网格环境中。
• 实现一个虚拟化层，抽象物理数据位置和模式差异。
• 通过网格身份认证和授权机制确保数据安全和访问控制。

实验结果

研究问题

• RQ1 如何将来自多个网格站点的异构关系型数据库集成到单一的统一数据访问层？
• RQ2 为支持数据仓库工作负载和复杂查询，需要对现有网格中间件进行哪些扩展？
• RQ3 Web服务接口能否有效抽象分布式异构数据源的复杂性，以满足科学用户的需求？
• RQ4 该系统在网格环境中支持大规模与小规模数据检索的效率如何？
• RQ5 该框架在多大程度上实现了无需修改客户端应用程序即可透明、安全地访问数据？

主要发现

• 原型成功通过Web服务将SQL Server和Oracle9i数据库集成到单一的虚拟数据库系统中。
• 网格增强的Web服务接口实现了对分布式数据的安全、透明访问，显著降低了客户端复杂性。
• 该框架在需要跨站点数据集成的HEP及其他数据密集型科学应用中展示了可行性。
• 对现有网格中间件的扩展足以支持关系型数据仓库操作，且无需重大架构变更。
• 虚拟数据库抽象使用户能够像访问本地数据一样查询数据，无论其物理位置或模式差异如何。
• 性能基准测试证实，该系统在网格环境中能够高效地从异构数据库中检索大规模和小规模数据对象。