[논문 리뷰] GANGA: a user-Grid interface for Atlas and LHCb

Karl Harrison, W. Lavrijsen외 6명|ArXiv.org|2003. 06. 14.

Distributed and Parallel Computing Systems참고 문헌 8인용 수 10

한 줄 요약

GANGA는 ATLAS 및 LHCb 실험의 로컬 및 그리드 컴퓨팅 자원에서 작업 관리를 단순화하는 파이썬 기반의 컴포넌트 지향형 사용자 인터페이스입니다. 소프트웨어 버스 아키텍처를 통해 저수준의 그리드 및 배치 시스템 복잡성을 추상화하여, 명령줄 인터페이스와 그래픽 사용자 인터페이스를 모두 통해 Gaudi 프레임워크 기반 작업의 구성, 제출, 모니터링 및 출력 수집을 원활하게 가능하게 합니다.

ABSTRACT

The Gaudi/Athena and Grid Alliance (GANGA) is a front-end for the configuration, submission, monitoring, bookkeeping, output collection, and reporting of computing jobs run on a local batch system or on the grid. In particular, GANGA handles jobs that use applications written for the Gaudi software framework shared by the Atlas and LHCb experiments. GANGA exploits the commonality of Gaudi-based computing jobs, while insulating against grid-, batch- and framework-specific technicalities, to maximize end-user productivity in defining, configuring, and executing jobs. Designed for a python-based component architecture, GANGA has a modular underpinning and is therefore well placed for contributing to, and benefiting from, work in related projects. Its functionality is accessible both from a scriptable command-line interface, for expert users and automated tasks, and through a graphical interface, which simplifies the interaction with GANGA for beginning and c1asual users. This paper presents the GANGA design and implementation, the development of the underlying software bus architecture, and the functionality of the first public GANGA release.

연구 동기 및 목표

• 고에너지 물리 실험에서 ATLAS 및 LHCb와 같은 대규모 분산 컴퓨팅 작업을 관리하는 데 발생하는 복잡성을 해결하기 위해.
• 이질적인 컴퓨팅 환경에서 Gaudi 프레임워크 기반 작업의 구성, 제출 및 모니터링에 있어 사용자 부담을 줄이기 위해.
• 전문가용 스크립팅과 초보자에게 친화적인 GUI 상호작용을 모두 지원하는 이식성 있고 확장 가능하며 사용자 友好的한 인터페이스를 제공하기 위해.
• 그리드 미들웨어(예: Globus, EDG)와 배치 시스템의 세부 사항을 추상화하여 다양한 분산 자원 간의 투명한 작업 실행을 가능하게 하기 위해.
• 페타바이트 규모의 LHC 데이터 과제에 필수적인 재현 가능하고 확장 가능한 데이터 처리 워크플로우를 지원하기 위해.

제안 방법

• 중앙 소프트웨어 버스를 통해 동적 모듈 로딩과 인스펙션을 지원하는 파이썬 기반의 컴포넌트 기반 소프트웨어 아키텍처를 활용합니다.
• 공통된 응용 프로그래밍 인터페이스(API)에 액세스하는 명령줄 인터페이스(CLI)와 그래픽 사용자 인터페이스(GUI)를 모두 구현합니다.
• 소프트웨어 버스를 사용해 작업 정의, 구성 편집, 작업 분할, 모니터링 등의 기능 컴포넌트를 모듈화하고 재사용 가능한 단위로 분리합니다.
• 저수준 세부 정보를 최종 사용자에게 노출하지 않고도 기존의 미들웨어(Globus, EDG)와 프레임워크(Gaudi, ROOT, Athena)와 통합합니다.
• 옵션 특성(예: 드롭다운, 목록, 텍스트 필드)에 따라 동적으로 적응하는 유형 인식 기능을 갖춘 작업 옵션 편집기(joe)를 설계합니다.
• 작업 구성의 영구 저장, 미리보기 기능, 스크립트 기반 접근을 통해 CLI를 통해 자동화 및 재현 가능성을 지원합니다.

실험 결과

연구 질문

• RQ1 어떻게 고에너지 물리 실험에서 복잡한 분산 컴퓨팅 작업을 관리하기 위한 통합적이고 사용자에게 투명한 인터페이스를 설계할 수 있는가?
• RQ2 파이썬 기반의 컴포넌트 기반 아키텍처가 다양한 미들웨어와 애플리케이션 프레임워크 통합을 얼마나 단순화할 수 있는가?
• RQ3 GUI 기반 작업 편집기가 저수준 작업 스크립팅에 익숙하지 않은 물리학자들에게 구성 오류를 줄이고 사용성을 향상시킬 수 있는가?
• RQ4 어떻게 작업 모니터링 및 상태 추적을 주 실행 스레드에서 효율적으로 분리하여 사용자 상호작용의 반응성을 확보할 수 있는가?
• RQ5 어떤 설계 패턴이 Gaudi 프레임워크의 다양한 물리 워크플로우(예: 시뮬레이션, 재구성, 분석) 간에 컴포넌트의 확장성과 재사용을 가능하게 하는가?

주요 결과

• GANGA 시스템은 그리드 및 배치 시스템의 복잡성을 성공적으로 추상화하여 물리학자들이 일관되고 고수준의 인터페이스를 통해 Gaudi 기반 작업을 관리할 수 있도록 했습니다.
• 소프트웨어 버스 아키텍처는 동적 컴포넌트 로딩 및 통신을 가능하게 하여 향후 확장 및 다른 도구와의 통합을 위한 확장 가능한 기반을 마련했습니다.
• 작업 옵션 편집기(joe)는 유형 인식 기반의 상호작용 가능한 입력 폼을 제공함으로써 구성 오류를 줄였고, 일반적인 설정을 저장 및 재사용하는 데에도 기여했습니다.
• CLI와 GUI 인터페이스 모두 동일한 기능을 제공하여 사용자가 GUI 세션을 스크립팅하고 반복 작업을 자동화할 수 있도록 했습니다.
• 시스템의 모듈식 설계 덕분에 기존 프로젝트인 ASK, ATCom, DIRAC, DIAL과의 점진적 개발 및 통합이 가능했습니다.
• GANGA의 첫 번째 공개 릴리스가 LHC 데이터 과제에 맞춰 배포되어 ATLAS 및 LHCb에서의 생산 환경 사용에 적합함을 입증했습니다.