[논문 리뷰] The Earth System Grid: Supporting the Next Generation of Climate Modeling Research

David E. Bernholdt, S. Bharathi외 18명|ArXiv.org|2007. 12. 13.

Distributed and Parallel Computing Systems참고 문헌 9인용 수 6

한 줄 요약

지구시스템그리드(ESG)는 글로버스 툴킷을 기반으로 한 확장성 있고 분산된 사이버인fra를 구축하여 이질적이고 지리적으로 산재한 사이트들 간에 페타스케일 기후모델링 데이터를 관리하고 탐색하며 분석할 수 있도록 한다. 인증, 고성능 데이터 전송, 의미론적 카탈로그, 웹 포털을 통합함으로써 ESG는 기후 데이터에 대해 효율적이고 안전하며 상호운용 가능한 접근을 가능하게 하여 다음 세대의 기후 연구를 대규모로 지원한다.

ABSTRACT

Understanding the earth's climate system and how it might be changing is a preeminent scientific challenge. Global climate models are used to simulate past, present, and future climates, and experiments are executed continuously on an array of distributed supercomputers. The resulting data archive, spread over several sites, currently contains upwards of 100 TB of simulation data and is growing rapidly. Looking toward mid-decade and beyond, we must anticipate and prepare for distributed climate research data holdings of many petabytes. The Earth System Grid (ESG) is a collaborative interdisciplinary project aimed at addressing the challenge of enabling management, discovery, access, and analysis of these critically important datasets in a distributed and heterogeneous computational environment. The problem is fundamentally a Grid problem. Building upon the Globus toolkit and a variety of other technologies, ESG is developing an environment that addresses authentication, authorization for data access, large-scale data transport and management, services and abstractions for high-performance remote data access, mechanisms for scalable data replication, cataloging with rich semantic and syntactic information, data discovery, distributed monitoring, and Web-based portals for using the system.

연구 동기 및 목표

• 다양한 기관과 스토리지 시스템을 포함하는 대규모 분산 기후 모델 데이터셋을 관리하고 접근하는 데 증가하는 도전 과제를 해결한다.
• 기후 과학자들이 이질적인 계산 환경 간에 원활한 데이터 탐색, 접근, 분석을 수행할 수 있도록 한다.
• 중반기까지 예상되는 페타바이트 수준의 데이터 보유량을 고려해 기후 모델링 연구의 진화를 지원한다.
• 인증, 데이터 복제, 모니터링, 의미론적 메타데이터를 통합한 강력하고 확장 가능한 인fra를 개발한다.
• 사용자 우호적인 웹 포털과 서비스를 구축하여 원격으로 고성능으로 기후 시뮬레이션 데이터를 분석할 수 있도록 한다.

제안 방법

• 분산 컴퓨팅의 기초 미들웨어로 글로버스 툴킷을 활용하여 보안, 데이터 이동, 자원 관리를 포함한다.
• 다양한 사이트 간 데이터 복제를 통해 데이터 가용성 향상과 네트워크 지연 감소를 위한 분산 아키텍처를 구현한다.
• 중앙 집중식 카탈로그에 의미론적 메타데이터와 문법적 주석을 통합하여 풍부하고 검색 가능한 데이터 탐색을 가능하게 한다.
• 대규모 과학적 데이터셋을 위한 최적화된 입출력 및 데이터 전송 프로토콜을 사용해 고성능 원격 데이터 접근 서비스를 개발한다.
• 웹 기반 포털을 통해 사용자가 저수준 시스템 상호작용 없이도 검색, 접근, 분석을 쉽게 수행할 수 있는 직관적인 인터페이스를 제공한다.
• 분산 모니터링과 로깅을 통합하여 그리드 전반에서 시스템의 신뢰성과 성능 추적을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 이질적 사이트에 걸쳐 확장성 있고 안전하며 상호운용 가능한 인fra를 어떻게 구축하여 페타스케일 기후 모델링 데이터를 관리하고 제공할 수 있는가?
• RQ2 그리드 환경에서 대규모 과학적 데이터셋에 대한 고성능 원격 접근을 지원하기 위해 필요한 아키텍처적 및 기술적 구성 요소는 무엇인가?
• RQ3 풍부한 의미론적 및 문법적 메타데이터는 어떻게 효과적으로 활용하여 효율적인 데이터 탐색과 기원 추적을 가능하게 할 수 있는가?
• RQ4 다양한 기관과 시스템 간에 데이터 접근을 위한 안전한 인증 및 권한 부여 메커니즘은 무엇인가?
• RQ5 글로벌 기후 데이터 그룹에서 성능, 가용성, 스토리지 효율성을 균형 잡기 위해 데이터 복제 전략은 어떻게 설계할 수 있는가?

주요 결과

• 지구시스템그리드는 여러 분산 사이트에 걸쳐 100TB 이상의 기후 시뮬레이션 데이터를 성공적으로 관리하고 접근함으로써 대규모 과학적 데이터에 대한 확장성을 입증했다.
• 글로버스 기반 서비스 통합을 통해 안전하고 고성능의 데이터 전송과 원격 접근이 가능해져 연구자들이 데이터에 접근하는 데 있어 상당한 향상을 이뤘다.
• 풍부한 메타데이터를 활용한 의미론적 카탈로그는 이질적인 데이터 형식과 원천 간에도 정확하고 효율적인 데이터 탐색을 가능하게 했다.
• 시스템은 확장 가능한 데이터 복제를 지원하여 글로벌 사용자에게 데이터 가용성 향상과 지연 감소를 제공했다.
• 웹 기반 포털은 과학자들이 저수준 시스템 전문 지식 없이도 데이터를 탐색하고 접근하며 분석할 수 있도록 사용자 우량한 인터페이스를 제공했다.
• 아키텍처는 확장 가능하며 향후 데이터 증가, 특히 향후 10년 내 예상되는 페타스케일 보유량을 고려해 설계되었다.