[논문 리뷰] Management of Grid Jobs and Information within SAMGrid

A. Baranovski, Gabriele Garzoglio외 12명|arXiv (Cornell University)|2003. 07. 03.

Distributed and Parallel Computing Systems참고 문헌 14인용 수 6

한 줄 요약

이 논문은 페르미랩의 고에너지물리 실험 D0와 CDF를 위한 VO 전용 그리드 시스템인 SAMGrid를 제안한다. 이 시스템은 작업 및 정보 관리를 통합하여, Condor-G에 자동 매칭 기능, 확장된 ClassAd를 통한 동적 자원 평가, 네트워크 기반 작업 제출 기능을 추가함으로써 기능을 향상시켰으며, 이질적인 그리드 사이트 간 분산 모니터링 및 구성 관리를 위한 통합된 XML 기반 구성 프레임워크를 사용한다.

ABSTRACT

We describe some of the key aspects of the SAMGrid system, used by the D0 and CDF experiments at Fermilab. Having sustained success of the data handling part of SAMGrid, we have developed new services for job and information services. Our job management is rooted in \CondorG and uses enhancements that are general applicability for HEP grids. Our information system is based on a uniform framework for configuration management based on XML data representation and processing.

연구 동기 및 목표

• D0와 CDF와 같은 대규모 데이터 집약형 고에너지물리 실험에서 확장성 있고 자동화된 작업 스케줄링 및 정보 관리의 필요성을 해결한다.
• 기본적인 Condor-G의 한계를 극복하여 정적 ClassAd 기술에 의존하지 않고도 동적이고 정책 기반의 자원 매칭을 가능하게 한다.
• 다양한 그리드 서비스 스위트가 동시에 존재하는 한 곳의 사이트에서 상호운용성을 지원하기 위해 통합적이고 확장 가능한 구성 및 모니터링 프레임워크를 XML 기반으로 설계한다.
• 그리드 수준의 서비스를 현지 배치 시스템(CAF, MCRunJob)과 통합하여 기존의 피복 수준 워크플로우에 영향을 주지 않으면서도 호환성을 확보한다.
• 이질적인 컴퓨팅 환경에서 다중 사이트, 다중 사용자 작업 스케줄링을 가능하게 하며, 보안이 확보된 분산 작업 제출을 지원한다.

제안 방법

• 작업 실행에 적합한 최적의 그리드 사이트를 자동으로 선택할 수 있도록 매칭 서비스를 추가한 확장된 Condor-G를 사용하여 수동 사이트 지정이 필요 없어졌다.
• 매칭 시점에 외부에서 평가되는 함수를 지원하기 위해 ClassAd 언어를 확장하여, 로컬 스토리지 콘텐츠나 사용자 액세스 목록과 같이 정적 자료가 아닌 런타임 데이터 기반의 결정을 가능하게 하였다.
• 작업 제출 클라이언트를 중앙 큐잉 시스템에서 분리하여 보안이 확보된 네트워크 통신을 가능하게 하고, 다층 아키텍처 기반의 작업 제출을 지원하였다.
• 사이트 및 자원 정보를 트리 구조로 표현할 수 있는 계층적 XML 기반 구성 프레임워크를 설계하여, 다양한 사이트 간 일관된 데이터 모델링을 가능하게 하였다.
• XML 기반 구성 데이터를 Condor ClassAd 프레임워크에 투영하여 자원 기술을 수행하고, 모니터링 및 서비스 탐색을 위해 Globus MDS를 사용하였다.
• 현지 배치 시스템(CAF, MCRunJob)과 통신할 수 있도록 GRAM 호환 작업 관리자를 구현하여, 기존 실험 전용 컴퓨팅 피복과의 원활한 통합을 확보하였다.

실험 결과

연구 질문

• RQ1 데이터 집약형 HEP 워크로드를 위한 그리드 시스템은 어떻게 기존의 현지 배치 시스템과 호환성을 유지하면서도 작업 스케줄링을 자동화할 수 있는가?
• RQ2 정적 ClassAd 속성 외에도 동적이고 정책 기반의 자원 선택을 지원하기 위해 Condor-G에 어떤 개선이 필요한가?
• RQ3 한 곳의 사이트에서 여러 그리드 서비스 스위트 간 상호운용성을 지원하기 위해 통합적이고 확장 가능한 구성 프레임워크는 어떻게 설계할 수 있는가?
• RQ4 XML 기반의 데이터 모델링은 분산되고 이질적인 그리드 환경에서 일관된 모니터링, 구성 및 자원 기술을 어떻게 가능하게 하는가?
• RQ5 피복 수준의 모니터링 시스템과 중복되지 않고, 그리드 수준의 모니터링 및 정보 서비스는 어떻게 설계할 수 있는가?

주요 결과

• 향상된 Condor-G 미들웨어는 ClassAd 내 동적 함수를 활용한 정책 기반의 자동 작업 매칭을 성공적으로 구현하여 데이터 집약형 워크로드에 대한 스케줄링의 유연성을 향상시켰다.
• 네트워크 기반의 보안적 작업 제출 클라이언트 도입으로 다중 사이트, 다중 사용자 작업 제출을 지원하는 확장성 있는 다층 아키텍처를 실현하였다.
• XML 기반 구성 프레임워크는 사이트 및 자원 정보를 일관되고 계층적으로 표현할 수 있게 하여, 다양한 그리드 서비스 스위트 간의 상호운용성을 향상시켰다.
• GRAM 호환 작업 관리자를 배포하여 그리드 수준 스케줄링과 현지 배치 시스템(CAF, MCRunJob) 간의 원활한 통합을 달성함으로써 현지 컴퓨팅 피복과의 통합을 성공적으로 이룩하였다.
• 2002년 가을에 SAMGrid의 완전한 통합 프로토타입이 구현되었으며, 이는 11개 사이트(5개 D0, 6개 CDF)를 연결하여 작업 제출, 브로커링, 모니터링 서비스가 정상 작동하는 것을 입증하였다.
• 본 프로젝트는 표준 미들웨어(Condor-G, Globus)를 기반으로 하되, 고에너지물리 워크로드에 특화된 기능을 추가함으로써 VO 전용 그리드 시스템을 구축할 수 있음을 입증하였다.