[论文解读] A Taxonomy of Data Grids for Distributed Data Sharing, Management and Processing

Srikumar Venugopal, Rajkumar Buyya+1 more|ArXiv.org|Jun 10, 2005

Distributed and Parallel Computing Systems参考文献 79被引用 5

一句话总结

本文提出了一套全面的数据网格分类体系，对数据网格的架构、数据传输、复制及资源分配/调度进行分类。该文区分了数据网格与对等网络、内容分发网络及分布式数据库的不同，为评估现有系统和识别未来数据密集型科学计算研究中的空白提供了结构化框架。

ABSTRACT

Data Grids have been adopted as the platform for scientific communities that need to share, access, transport, process and manage large data collections distributed worldwide. They combine high-end computing technologies with high-performance networking and wide-area storage management techniques. In this paper, we discuss the key concepts behind Data Grids and compare them with other data sharing and distribution paradigms such as content delivery networks, peer-to-peer networks and distributed databases. We then provide comprehensive taxonomies that cover various aspects of architecture, data transportation, data replication and resource allocation and scheduling. Finally, we map the proposed taxonomy to various Data Grid systems not only to validate the taxonomy but also to identify areas for future exploration. Through this taxonomy, we aim to categorise existing systems to better understand their goals and their methodology. This would help evaluate their applicability for solving similar problems. This taxonomy also provides a "gap analysis" of this area through which researchers can potentially identify new issues for investigation. Finally, we hope that the proposed taxonomy and mapping also helps to provide an easy way for new practitioners to understand this complex area of research.

研究动机与目标

• 系统性地刻画数据网格，并将其与对等网络、内容分发网络及分布式数据库等类似范式区分开来。
• 构建一个涵盖架构、数据传输、复制及资源分配/调度策略的多维分类体系。
• 通过将分类体系映射到现有数据网格系统，验证其有效性，并识别当前研究与系统设计中的不足之处。
• 为研究人员和实践者提供一个结构化参考，以理解、比较和评估数据网格技术。
• 通过揭示尚未解决的问题与未满足的需求，指导未来在数据密集型分布式计算中的研究方向。

提出的方法

• 提出一个涵盖四个核心维度的分层分类体系：系统架构、数据传输机制、数据复制策略以及资源分配与调度策略。
• 采用对比分析方法，将数据网格与其他数据分发模型进行对比，突出其在数据访问模式、信任模型及性能需求方面的差异。
• 根据所提出的分类体系对代表性数据网格系统（如Globus、EGEE、DataTAG）进行分类，以验证其适用性与完整性。
• 将用户中心的需求（如QoS、访问控制及作业调度策略）整合进分类体系，以反映真实世界中的科学工作负载。
• 结合现有综述与系统设计的洞见，确保分类体系能够体现当前实践与技术趋势。
• 采用差距分析方法，识别数据网格在可扩展性、互操作性及数据可维护性方面尚未充分探索的领域。

实验结果

研究问题

• RQ1 在数据访问、信任模型与性能方面，数据网格与对等网络、内容分发网络及分布式数据库的根本区别是什么？
• RQ2 相较于其他分布式数据系统，定义一个数据网格的关键架构与运行特征是什么？
• RQ3 如何系统性地对数据网格中的数据传输、复制与资源调度进行分类与比较？
• RQ4 当将现有数据网格系统映射到所提出的分类体系时，其存在的局限性与研究空白是什么？
• RQ5 该分类体系如何指导未来在提升数据密集型科学计算中可扩展性、互操作性与数据可维护性方面的研究？

主要发现

• 数据网格因其对跨多个管理域的地理分布异构资源、大规模计算密集型科学工作负载的支持而具有独特性。
• 该分类体系成功映射并分类了Globus、EGEE与DataTAG等主要数据网格系统，证明其在系统比较与评估中的实用性。
• 当前资源分配与调度研究主要聚焦于最小化完成时间（makespan），但正逐渐向用户定义的QoS与成本感知调度转变。
• 该分类体系揭示了在互操作性、数据可维护性与自组织能力方面存在显著研究空白，指明了未来研究的关键方向。
• 面向市场与社区的调度模型正在兴起，需要先进算法以在成本、性能与用户定义的QoS约束之间实现平衡。
• 在下一代数据网格调度中，基于利润与用户定义服务等级的效用函数集成至关重要。