[논문 리뷰] McRunjob: A High Energy Physics Workflow Planner for Grid Production Processing

G. Graham, Evans, Dave외 1명|ArXiv.org|2003. 05. 30.

Distributed and Parallel Computing Systems인용 수 22

한 줄 요약

McRunjob는 고에너지물리학 그룹 생산을 위한 메타데이터 기반 워크플로우 기획도구로, 다양한 컴퓨팅 환경에서 확장성 있고 이식 가능한 작업 생성을 가능하게 한다. 2002년부터 DZero 및 CMS 실험에서 성공적으로 구현된 바 있으며, 기능적 종속성, 네임스페이스, 온톨로지 정의를 포함한 선언적 메타데이터 언어를 사용하여 복잡한 다단계 워크플로우, 증명 가능성 추적, 동적 작업 제출을 모델링한다.

ABSTRACT

McRunjob is a powerful grid workflow manager used to manage the generation of large numbers of production processing jobs in High Energy Physics. In use at both the DZero and CMS experiments, McRunjob has been used to manage large Monte Carlo production processing since 1999 and is being extended to uses in regular production processing for analysis and reconstruction. Described at CHEP 2001, McRunjob converts core metadata into jobs submittable in a variety of environments. The powerful core metadata description language includes methods for converting the metadata into persistent forms, job descriptions, multi-step workflows, and data provenance information. The language features allow for structure in the metadata by including full expressions, namespaces, functional dependencies, site specific parameters in a grid environment, and ontological definitions. It also has simple control structures for parallelization of large jobs. McRunjob features a modular design which allows for easy expansion to new job description languages or new application level tasks.

연구 동기 및 목표

• 고에너지물리학에서 대규모 몬테카를로 생산을 위한 일반적이고 확장 가능한 작업 관리의 부족을 보완한다.
• 이질적인 컴퓨팅 환경을 가로질러 복잡한 다단계 워크플로우를 관리할 수 있는 이식성 있고 확장 가능한 프레임워크를 제공한다.
• 선언적 메타데이터 기술 언어를 통해 일관된 작업 생성과 증명 가능성 추적을 가능하게 한다.
• 데이터베이스, 자원 브로커, 그룹 미들웨어와 같은 외부 시스템과의 통합을 지원한다.
• 미래의 작업 기술 언어 및 실행 모델과의 통합을 위한 모듈식 설계를 통해 확장성을 촉진한다.

제안 방법

• 응용 프로그램, 환경, 데이터의 메타데이터를 캡슐화하는 Configurator 컴ponent를 사용하여 일반적인 메타데이터 컨테이너로 기능한다.
• 다양한 실행 환경에서 일관된 작업 스크립트 생성을 위해 특수화된 Script Generator(특수 Configurator)를 활용한다.
• Linker를 중심 통신 및 제어 허브로 사용하여 Configurator 인스턴스화, 메타데이터 라우팅, 프레임워크 실행을 관리한다.
• 메타데이터 요소 간의 기능적 종속성(예: B:InputFile = A:OutputFile)을 사용하여 워크플로우 논리를 선언적으로 표현한다.
• 실시간 스키마 정의 및 매크로 기반 구성 기능을 통해 동적 워크플로우 조합 및 환경 관리를 가능하게 한다.
• 소스 가능한 정의와 명령어 시퀀스를 가진 매크로 언어를 사용하여 환경 정의를 워크플로우 논리와 분리함으로써 초보적인 온톨로지 모델링을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 대규모 다단계 몬테카를로 생산을 위한 일반적이고 확장 가능한 워크플로우 관리 시스템을 설계할 수 있는가?
• RQ2 단일 메타데이터 추상화를 통해 이질적인 컴퓨팅 환경(로컬 팜, 그룹 등) 간에 일관된 작업 생성을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 메타데이터만을 사용하여 워크플로우 단계 간의 증명 가능성과 기능적 종속성을 어떻게 모델링하고 강제화할 수 있는가?
• RQ4 선언적 메타데이터 언어가 외부 데이터베이스 및 자원 브로커와의 통합을 가능하게 하면서도 복잡하고 동적인 워크플로우를 얼마나 잘 지원할 수 있는가?
• RQ5 런타임 모니터링, 상호작용 분석, 웹 서비스 워크플로우 언어와 같은 신규 표준과의 통합을 위해 프레임워크는 어떻게 확장될 수 있는가?

주요 결과

• McRunjob는 1999년부터 DZero 및 CMS 실험에서 대규모 몬테카를로 생산에 성공적으로 사용되어 왔으며, CMS에서는 2002년부터 생산 환경에 도입되었다.
• 프레임워크는 개별 Configurator에서 생성된 작업 스크립트를 집계하여 전체 다단계 워크플로우를 나타내는 복합 스크립트를 생성할 수 있다.
• 메타데이터 요소 간의 기능적 종속성(예: 입력-출력 연결)은 균일하게 처리되어 특수 케이스 처리 없이도 복잡한 워크플로우 모델링이 가능하다.
• Configurators, ScriptGen, Linker로 구성된 모듈식 아키텍처는 새로운 작업 기술 언어 및 실행 환경로의 원활한 확장이 가능하게 한다.
• 동등 정의 및 버전 관리를 통해 초보적인 온톨로지 관리 기능을 지원하여 환경 인식 워크플로우 구성이 가능하다.
• 런타임 확장 기능을 탐색 중이며, 작업 메타데이터 및 실행 상태를 XML 데이터베이스에 저장하여 증명 가능성 추적을 지원한다.