[논문 리뷰] GRAPPA: Grid Access Portal for Physics Applications

D. Engh, R. W. Gardner외 5명|ArXiv.org|2003. 06. 26.

Distributed and Parallel Computing Systems참고 문헌 3인용 수 4

한 줄 요약

GRAPPA는 Jython과 Java CoG 툴킷을 사용하여 웹 기반 인터페이스를 통해 고에너지 물리학 작업을 분산된 자원에 접근하고 관리할 수 있도록 해주는 그리드 포털 프레임워크입니다. 이는 다양한 그리드 자원 간의 작업 제출, 모니터링 및 데이터 관리를 단순화하며, 미국 테스트 베드에서 ATLAS 몬테카를로 생산이 성공적으로 수행되었고, iVDGL-DataTAG 프로젝트를 통해 유럽 시스템과의 상호운용성도 입증하였습니다.

ABSTRACT

Grappa is a Grid portal effort designed to provide physicists convenient access to Grid tools and services. The ATLAS analysis and control framework, Athena, was used as the target application. Grappa provides basic Grid functionality such as resource configuration, credential testing, job submission, job monitoring, results monitoring, and preliminary integration with the ATLAS replica catalog system, MAGDA. Grappa uses Jython to combine the ease of scripting with the power of java-based toolkits. This provides a powerful framework for accessing diverse Grid resources with uniform interfaces. The initial prototype system was based on the XCAT Science Portal developed at the Indiana University Extreme Computing Lab and was demonstrated by running Monte Carlo production on the U.S. ATLAS test-bed. The portal also communicated with a European resource broker on WorldGrid as part of the joint iVDGL-DataTAG interoperability project for the IST2002 and SC2002 demonstrations. The current prototype replaces the XCAT Science Portal with an xbooks jetspeed portlet for managing user scripts.

연구 동기 및 목표

• 고에너지 물리학(HEP) 애플리케이션(예: ATLAS)을 위한 분산된 그리드 자원에 대한 접근을 단순화하기 위해.
• 다양한 사이트 간 이질적인 컴퓨팅 시스템, 스토리지 및 소프트웨어 설정을 관리하는 복잡성을 줄이기 위해.
• 표준 웹 기술과 스크립팅을 사용하여 사용자 친화적이고 플랫폼에 종속되지 않는 포털 인터페이스를 제공하기 위해.
• 표준화된 작업 기술 및 자원 브로커링을 통해 미국과 유럽 그리드 인fra구조 간의 상호운용성을 보장하기 위해.
• 작업 모니터링, 결과 브라우징 및 동적 환경 설정을 지원하는 대규모 데이터 생산 워크플로우를 지원하기 위해.

제안 방법

• GRAPPA는 작업 및 데이터 관리에 사용 가능한 모듈식이고 재사용 가능한 구성 요소를 제공하기 위해 Jetspeed 포틀릿을 포털 프레임워크로 사용합니다.
• Jython 스크립팅을 활용하여 Java CoG 도구와 통합함으로써, GRAM 작업 제출 및 GSIFTP 파일 전송과 같은 그리드 서비스에 최소한의 자바 코드로 접근할 수 있도록 합니다.
• xbooks 포틀릿 엔진은 사용자가 정의한 스크립트와 양식을 해석하며, 나중에 검토, 재제출 또는 모니터링을 위해 작업 입력을 저장합니다.
• 작업 스크립트는 포틀릿 호스트와 컴퓨팅 호스트 구성 요소로 분할되며, Grappa는 원격 사이트에 필요한 도구와 라이브러리(예: ATLAS Athena)가 설치되어 있는지 보장합니다.
• 포털은 중앙 집중식 컴퓨팅 자원 데이터베이스를 사용하여 각 사이트의 상대적 계산 능력에 따라 작업을 동적으로 선택하고 비율적으로 분배합니다.
• 유럽 시스템과의 상호운용성은 INFN 등의 자원 브로커를 위한 JDL 스크립트 생성을 통해 달성되었으며, 이는 외부 그리드에 작업을 제출할 수 있도록 했습니다.

실험 결과

연구 질문

• RQ1 이질적인 그리드 자원을 통해 작업을 제출하고 모니터링할 수 있는 통합된 사용자 우아한 인터페이스를 물리학자들에게 어떻게 제공할 수 있는가?
• RQ2 HEP 응용 프로그램을 위한 그리드에서 보안적이고 이식 가능하며 확장 가능한 포틀릿 개발을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 Jython과 같은 스크립팅 프레임워크는 그리드 컴퓨팅에서 전문가가 아닌 사용자의 프로그래밍 장벽을 어떻게 낮출 수 있는가?
• RQ4 포틀릿이 미국과 유럽 시스템을 포함한 다양한 그리드 인fra구조 간에 상호운용성을 얼마나 달성할 수 있는가?
• RQ5 웹 인터페이스를 통한 대규모 작업 제출에서 발생하는 성능 저하 요인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• GRAPPA는 미국 그리드 테스트 베드에서 15개 사이트, 100개 CPU를 활용하여 ATLAS 몬테카를로 생산을 성공적으로 수행하였으며, 다양한 작업 관리자(Condor, LSF, PBS, Fork)를 지원했습니다.
• iVDGL-DataTAG 프로젝트를 통해 INFN 자원 브로커를 위한 JDL 스크립트를 생성함으로써, 유럽 자원 브로커와의 상호운용성을 달성하였으며, 이는 대륙 간 작업 제출을 가능하게 했습니다.
• GRAM 상태 보고 및 Ganglia와 ATLAS MAGDA 복제 카탈로그와 같은 시스템 모니터와의 통합을 통해 작업 모니터링이 효과적으로 이루어졌습니다.
• 출력 ntuples에 대해 PAW를 동적으로 설치하고 실행함으로써 시각적 결과 브라우징이 가능해졌으며, 데이터 생성과 함께 요약 플롯이 실시간으로 업데이트되었습니다.
• 웹 인터페이스를 통한 대규모 제출(25개 이상의 작업)은 10분 이상의 지연을 유발하여 이러한 워크로드에는 실용적이지 않았습니다.
• 성능 저하 문제는 Cactus 툴킷을 사용한 비대화형 명령행 인터페이스 도입과 크론을 활용한 장시간 실행 작업 스케줄링을 통해 해결되었습니다.