[논문 리뷰] The NorduGrid architecture and tools

P. Eerola, T. Ekelöf외 8명|ArXiv.org|2003. 05. 31.

Distributed and Parallel Computing Systems참고 문헌 3인용 수 19

한 줄 요약

NorduGrid 프로젝트는 LHC를 위한 확장성 있고 생산 수준의 계산을 위해 고에너지 물리학 공동체의 요구를 충족시키기 위해 Globus Toolkit을 기반으로 한 경량이며 분산형 그리드 아키텍처를 설계했다. 이는 작업 및 데이터 관리를 위한 사용자 인터페이스, 그리드 관리자, 확장된 RSL(xRSL)과 같은 맞춤형 구성 요소를 도입하여 단일 장애 지점이 없는 효율적인 배치 처리 및 동적 자원 할당을 가능하게 하였다.

ABSTRACT

The NorduGrid project designed a Grid architecture with the primary goal to meet the requirements of production tasks of the LHC experiments. While it is meant to be a rather generic Grid system, it puts emphasis on batch processing suitable for problems encountered in High Energy Physics. The NorduGrid architecture implementation uses the \globus{} as the foundation for various components, developed by the project. While introducing new services, the NorduGrid does not modify the Globus tools, such that the two can eventually co-exist. The NorduGrid topology is decentralized, avoiding a single point of failure. The NorduGrid architecture is thus a light-weight, non-invasive and dynamic one, while robust and scalable, capable of meeting most challenging tasks of High Energy Physics.

연구 동기 및 목표

• 연간 최대 1 PB의 원시 데이터를 생성하는 대형 하드론 충돌기(Large Hadron Collider)가 초래하는 계산 및 데이터 관리 과제를 해결하기 위해.
• Globus Toolkit 및 EDG와 같은 기존 미들웨어의 한계, 즉 작업 브로커링 부족, 부적절한 데이터 스테이징, 중심 집중형 병목 현상 등을 극복하기 위해.
• 자원 소유자가 제어권을 유지하면서도 원활한 작업 및 데이터 관리가 가능한 생산 수준의 비침습적 그리드 인프라를 설계하기 위해.
• 최소한의 시스템 요구 사항으로도 경량이며 사이트 관리자 우호적인 설정을 통해 실시간 모니터링 및 구성 기능을 제공하기 위해.

제안 방법

• 핵심 컴ponent를 수정하지 않고도 상호 운용성을 확보하기 위해 Globus Toolkit을 기반으로 한 분산형 그리드 아키텍처를 구축하여, 핵심 컴ponent를 그대로 유지하였다.
• 중앙 집중식 브로커가 필요 없도록, 작업 제출, 자원 탐색, 상태 모니터링을 위한 클라이언트 측 서비스인 사용자 인터페이스(UI)를 개발하였다.
• 작업 실행, 동적 파일 스테이징(사전 및 사후 스테이징), 실행 노드 및 스토리지 요소 간의 조율을 담당하는 그리드 관리자(GM)를 구현하였다.
• 복잡한 데이터 이동 워크플로우를 기술하기 위해 자원 사양 언어(RSL)를 확장하여 inputFiles 및 outputFiles와 같은 새로운 속성을 포함한 xRSL로 확장하였다.
• MDS 기반 정보 시스템을 사용하여 실시간 시스템 상태를 게시하고 쿼리할 수 있도록 하여, 웹 기반 그리드 모니터를 통한 동적 모니터링을 가능하게 하였다.
• globus.conf 및 nordugrid.conf 두 개의 구성 파일을 사용하여 배포를 단순화하여, 최소한의 전문 지식으로도 다양한 사이트에서 빠른 설정이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 대규모 배치 처리 및 LHC 실험의 복잡한 데이터 관리 요구 사항을 충족시키기 위해 확장 가능하고 분산된 그리드 아키텍처를 어떻게 설계할 수 있는가?
• RQ2 단일 장애 지점 없이도 효율적인 작업 브로커링과 동적 데이터 스테이징을 가능하게 하는 아키텍처적 및 구현적 선택은 무엇인가?
• RQ3 고에너지 물리학 분야의 생산 수준 워크로드를 지원하기 위해 기존 미들웨어인 Globus Toolkit은 어느 정도까지 확장 가능한가?
• RQ4 최소한의 관리 부담과 시스템 종속성으로도 이질적인 사이트 간에 경량이며 비침습적인 그리드 시스템을 어떻게 구축할 수 있는가?

주요 결과

• 중앙 집중형 병목 현상 회피와 함께 동적이고 분산된 작업 및 데이터 관리 기능을 제공함으로써 NorduGrid 아키텍처는 대규모 생산 수준 워크로드를 성공적으로 지원하였다.
• 확장된 xRSL 언어는 분산 스토리지 요소를 통해 대용량 입력 및 출력 파일의 사전 및 사후 스테이징을 포함한 복잡한 작업 워크플로우를 정확하게 기술할 수 있도록 하였다.
• MDS 기반 정보 시스템을 쿼리하여 웹 기반 그리드 모니터가 실시간으로 상호작용 가능한 시스템 모니터링을 제공하며, 기본 갱신 간격은 30초이다.
• globus.conf 및 nordugrid.conf를 사용한 구성 모델 덕분에, 캐나다 및 일본과 같은 지리적으로 분산된 위치에 있는 NorduGrid 사이트를 수시간 내에 신속하게 배포할 수 있었다.
• 통합된 Globus 컴포넌트를 내장한 tarball 형태로 배포되는 독립형 클라이언트 패키지는 전체 시스템 설치 없이도 사용자가 그리드 및 다른 그리드와 상호작용할 수 있도록 하였다.
• ATLAS 데이터 챌린지 지원과 LHC 계산 워크플로우의 시험 환경으로서의 역할을 통해 아키텍처의 견고성과 확장성을 입증하였다.