[논문 리뷰] Virtual Data in CMS Production

Adam Arbree, Paul Avery외 7명|ArXiv.org|2003. 05. 31.

Distributed and Parallel Computing Systems참고 문헌 7인용 수 15

한 줄 요약

이 논문은 고에너지 물리학 실험에서의 몬테카를로 시뮬레이션 데이터를 위한 CMS 생산 워크플로우에 GriPhyN Chimera 가상 데이터 시스템을 통합함으로써, 분산된 그리드 자원을 통해 의존성 인식이 가능한 자동화된 데이터 처리를 가능하게 한다. 가상 데이터 언어, 카탈로그, 추상/구체 계획기 기반으로 논리적 데이터 제품과 물리적 자원을 분리함으로써, 복잡한 고에너지 물리학 워크로드에서 최소한의 사용자 간섭으로도 효율적이고 확장 가능한 워크플로우 실행을 달성한다.

ABSTRACT

Initial applications of the GriPhyN Chimera Virtual Data System have been performed within the context of CMS Production of Monte Carlo Simulated Data. The GriPhyN Chimera system consists of four primary components: 1) a Virtual Data Language, which is used to describe virtual data products, 2) a Virtual Data Catalog, which is used to store virtual data entries, 3) an Abstract Planner, which resolves all dependencies of a particular virtual data product and forms a location and existence independent plan, 4) a Concrete Planner, which maps an abstract, logical plan onto concrete, physical grid resources accounting for staging in/out files and publishing results to a replica location service. A CMS Workflow Planner, MCRunJob, is used to generate virtual data products using the Virtual Data Language. Subsequently, a prototype workflow manager, known as WorkRunner, is used to schedule the instantiation of virtual data products across a grid.

연구 동기 및 목표

• CMS와 같은 고에너지 물리학 실험에서 복잡하고 데이터 집약적인 워크플로우를 관리하는 데 도전 과제를 해결한다.
• 사용자가 물리적 파일 위치를 추적할 필요 없이 분산된 그리드 자원을 통해 원활한 데이터 처리를 가능하게 한다.
• 데이터 의존성과 자원 할당을 추상화하여 워크플로우 관리의 수동적 부담을 줄인다.
• 몬테카를로 시뮬레이션을 위한 실제 CMS 생산 환경에서 가상 데이터 추상화의 실현 가능성을 입증한다.
• 대규모 분산 컴퓨팅 환경에서 과학적 워크플로우를 위한 확장성 있고 자동화된 프레임워크를 제공한다.

제안 방법

• 논리적 데이터 요구사항을 표현하기 위해 도메인 특화 가상 데이터 언어를 사용하여 가상 데이터 제품을 정의한다.
• 검색과 관리 가능성을 위해 가상 데이터 기술을 중앙 집중식 가상 데이터 카탈로그에 저장한다.
• 의존성 해결 및 위치에 관계없는 논리적 실행 계획 생성을 위해 추상 계획기를 사용한다.
• 파일 스테이징과 복제를 처리하여 추상 계획을 물리적 그리드 자원으로 매핑하기 위해 구체 계획기를 활용한다.
• 가상 데이터 제품 생성을 위해 CMS MCRunJob 워크플로우 계획기와 시스템을 통합한다.
• 가상 데이터 인스턴스화를 그리드 전역에서 스케줄링하고 실행하기 위해 프로토타입 워크플로우 관리기 WorkRunner를 활용한다.

실험 결과

연구 질문

• RQ1 가상 데이터 추상화는 고에너지 물리학에서 복잡하고 데이터 집약적인 워크플로우의 관리를 어떻게 단순화할 수 있는가?
• RQ2 논리적 데이터 제품을 물리적 저장소 및 실행 위치에서 분리하기 위해 필요한 메커니즘은 무엇인가?
• RQ3 가상 데이터 시스템은 생산 규모의 그리드 환경에서 의존성과 자원 할당을 효과적으로 관리할 수 있는가?
• RQ4 가상 데이터 사용은 분산된 데이터 처리 워크플로우를 관리하는 데 사용자 부담을 어떻게 줄이는가?
• RQ5 실제 CMS 생산 워크로드에서 가상 데이터 시스템은 어떤 성능 및 확장성 특성을 보이는가?

주요 결과

• GriPhyN Chimera 시스템은 CMS 몬테카를로 생산 워크플로우의 자동화되고 의존성 인식된 실행을 성공적으로 구현했다.
• 가상 데이터 추상화 덕분에 사용자가 물리적 파일 위치를 관리할 필요 없이 분산 자원 간 원활한 데이터 처리가 가능했다.
• 추상 계획기와 구체 계획기 계층이 복잡한 의존성을 효과적으로 해결하고 논리적 계획을 물리적 자원으로 매핑했다.
• MCRunJob 및 WorkRunner와의 통합을 통해 실제 생산 환경에서 가상 데이터 인스턴스화의 종단 간 자동화를 입증했다.
• 워크플로우 관리의 수동 간섭을 줄여 고에너지 물리학 데이터 생산의 확장성과 재현 가능성을 향상시켰다.
• 이 접근법은 CHEP 2003 회의에서 실제 도입을 통해 실용성과 실현 가능성을 입증했다.