[论文解读] The Earth System Grid: Supporting the Next Generation of Climate Modeling Research

David E. Bernholdt, S. Bharathi+18 more|ArXiv.org|Dec 13, 2007

Distributed and Parallel Computing Systems参考文献 9被引用 6

一句话总结

Earth System Grid（ESG）提出了一种可扩展的、分布式的网络基础设施，基于Globus Toolkit构建，用于在异构的、地理位置分散的站点之间管理、发现和分析规模达千万亿字节的气候模拟数据。通过整合身份认证、高性能数据传输、语义目录和Web门户，ESG实现了对气候数据的高效、安全和互操作访问，支持大规模下一代气候研究。

ABSTRACT

Understanding the earth's climate system and how it might be changing is a preeminent scientific challenge. Global climate models are used to simulate past, present, and future climates, and experiments are executed continuously on an array of distributed supercomputers. The resulting data archive, spread over several sites, currently contains upwards of 100 TB of simulation data and is growing rapidly. Looking toward mid-decade and beyond, we must anticipate and prepare for distributed climate research data holdings of many petabytes. The Earth System Grid (ESG) is a collaborative interdisciplinary project aimed at addressing the challenge of enabling management, discovery, access, and analysis of these critically important datasets in a distributed and heterogeneous computational environment. The problem is fundamentally a Grid problem. Building upon the Globus toolkit and a variety of other technologies, ESG is developing an environment that addresses authentication, authorization for data access, large-scale data transport and management, services and abstractions for high-performance remote data access, mechanisms for scalable data replication, cataloging with rich semantic and syntactic information, data discovery, distributed monitoring, and Web-based portals for using the system.

研究动机与目标

• 应对管理与访问跨越多个机构和存储系统的海量、分布式气候模型数据集所带来的日益增长的挑战。
• 在异构计算环境中实现气候科学家对数据的无缝发现、访问与分析。
• 支持气候模拟研究向中期预期达到千万亿字节数据规模的演进。
• 构建一个稳健且可扩展的基础设施，集成身份认证、数据复制、监控和语义元数据，以实现大规模数据管理。
• 开发用户友好的Web门户与服务，支持研究人员远程、高性能地分析气候模拟数据。

提出的方法

• 利用Globus Toolkit作为分布式计算的基础中间件，涵盖安全、数据传输和资源管理。
• 实施分布式架构，通过在多个站点间复制数据，提升数据可用性并降低网络延迟。
• 将语义元数据和语法注释整合到集中式目录中，以支持丰富、可搜索的数据发现。
• 开发高性能远程数据访问服务，采用优化的I/O与数据传输协议，以支持大规模科学数据集。
• 通过基于Web的门户为用户提供直观的界面，实现无需低层系统交互即可搜索、访问和分析气候数据。
• 集成分布式的监控与日志机制，以确保网格中系统的可靠性与性能可追踪性。

实验结果

研究问题

• RQ1 如何构建一个可扩展、安全且互操作的基础设施，以在异构、分布的站点之间管理并交付千万亿字节的气候模型数据？
• RQ2 在网格环境中支持大规模科学数据集高性能远程访问，需要哪些架构与技术组件？
• RQ3 如何有效利用丰富的语义与语法元数据，以实现高效的数据发现与溯源追踪？
• RQ4 哪些机制可确保在多个机构与系统之间实现安全的身份认证与授权？
• RQ5 如何设计数据复制策略，以在全球气候数据网格中平衡性能、可用性与存储效率？

主要发现

• Earth System Grid成功支持在多个分布式站点间管理与访问超过100 TB的气候模拟数据，证明了其在大规模科学数据上的可扩展性。
• 通过集成基于Globus的服务，实现了安全、高性能的数据传输与远程访问，显著提升了研究人员的数据可访问性。
• 采用丰富元数据的语义目录支持精确且高效的地数据发现，即使在异构数据格式与来源之间亦能实现。
• 系统支持可扩展的数据复制，提升了数据可用性，并降低了全球用户的数据访问延迟。
• 基于Web的门户提供了用户友好的界面，使科学家无需掌握低层系统知识即可发现、访问和分析数据。
• 该架构具备可扩展性，设计用于支持未来数据增长，包括未来十年内预期达到的千万亿字节数据规模。