[논문 리뷰] CMS Data Analysis: Current Status and Future Strategy

Vincenzo Innocente|ArXiv.org|2003. 06. 12.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 3

한 줄 요약

이 논문은 COBRA 및 IGUANA 소프트웨어 프레임워크를 중심으로 한 CMS의 현재 분산 데이터 분석 아키텍처를 제시하며, 그리드 기반 컴퓨팅 모델로의 이행 전략을 개요한다. 대규모 LHC 워크로드를 시뮬레이션하는 대규모 데이터 챌린지를 통해 검증된 원격 분석 프로토타입인 Clarens를 활용하여 글로벌 컴퓨팅 자원을 통해 확장 가능하고 상호작용이 가능한 분산 물리 분석을 가능하게 한다.

ABSTRACT

We present the current status of CMS data analysis architecture and describe work on future Grid-based distributed analysis prototypes. CMS has two main software frameworks related to data analysis: COBRA, the main framework, and IGUANA, the interactive visualisation framework. Software using these frameworks is used today in the world-wide production and analysis of CMS data. We describe their overall design and present examples of their current use with emphasis on interactive analysis. CMS is currently developing remote analysis prototypes, including one based on Clarens, a Grid-enabled client-server tool. Use of the prototypes by CMS physicists will guide us in forming a Grid-enriched analysis strategy. The status of this work is presented, as is an outline of how we plan to leverage the power of our existing frameworks in the migration of CMS software to the Grid.

연구 동기 및 목표

• 2000명의 물리학자 협력자들을 수용할 수 있도록 글로벌 컴퓨팅 자원을 통해 상호작용형 및 배치 처리를 지원하는 통합된 분산 분석 환경을 개발하기 위해.
• 물리학자들이 물리적 위치에 관계없이 통합된 논리적 인터페이스를 통해 데이터에 균일하게 액세스하고 분석할 수 있도록 하기 위해.
• 기존 소프트웨어 프레임워크를 활용하여 중심집중형에서 그리드 기반 인프라로의 전환을 통해 CMS의 컴퓨팅 모델을 현대화하기 위해.
• 대규모 데이터 챌린지를 통해 분산 분석 아키텍처의 확장성과 신뢰성을 검증하기 위해.
• 실세계 사용 사례에서 원격 분석 프로토타입을 평가하여 CMS 소프트웨어의 향후 개발을 이끌기 위해.

제안 방법

• 이벤트 처리, 재구성, 분석를 위한 주요 애플리케이션 프레임워크로 COBRA 프레임워크를 사용하여 저수준 컴퓨팅 세부 정보를 추상화하기 위해.
• 상호작용형 시각화 및 분석을 위해 IGUANA 프레임워크를 사용하여 2D/3D 시각화 및 이벤트 수준 점검을 위한 스크립팅을 지원하기 위해.
• 사용자와 분산 데이터 스토리지 간의 중재를 위해 Clarens 원격 데이터서버를 그리드 기반 클라이언트-서버 도구로 구현하기 위해.
• 응용 프로그램 프레임워크, 서비스, 그리고 기초 컴퓨팅 인프라 간에 명확한 계층적 분리를 갖춘 레이어드 소프트웨어 아키텍처를 설계하기 위해.
• 인증되고 유지보수되는 외부 소프트웨어 컴포넌트와 서비스를 활용하기 위해 LCG(Large Computing Grid) 프로젝트와 통합하기 위해.
• 시뮬레이션, 재구성, 분석 단계를 모두 포함하는 분산 분석 파이프라인을 테스트하고 개선하기 위해 반복적인 데이터 챌린지(DC02, DC04, DC06)를 수행하기 위해.

실험 결과

연구 질문

• RQ1 2000명의 물리학자 협력자들을 수용할 수 있도록 글로벌 분산 분석 환경을 어떻게 설계할 수 있는가?
• RQ2 COBRA 및 IGUANA와 같은 응용 프로그램 프레임워크는 이질적인 컴퓨팅 환경에서 확장 가능하고 상호작용형이며 이식 가능한 데이터 분석을 어떻게 가능하게 하는가?
• RQ3 Clarens와 같은 원격 분석 도구는 그리드 기반 인프라에 어떻게 효과적으로 통합되어 실시간 및 임무 핵심 분석을 지원할 수 있는가?
• RQ4 LHC 규모의 워크로드 하에서 완전히 분산된 분석 파이프라인의 성능 및 신뢰성 특성은 어떠한가?
• RQ5 기존 소프트웨어 프레임워크는 어떻게 확장 및 변형되어 생산용 그리드 환경으로의 전환을 지원할 수 있는가?

주요 결과

• 2002년 봄, 20개의 지역 센터와 10만 개의 작업을 포함하여 600만 개의 몬테카를로 이벤트를 성공적으로 처리했으며, 20TB의 데이터를 생성하고 고수준 트리거 및 재구성 프레임워크를 검증했다.
• 2004년 4월에 예정된 DC04 데이터 챌린지는 $2\times 10^{33}$ cm⁻²s⁻¹ 루미노시티에서 한 달간 25 Hz의 데이터율에 해당하는 실시간으로 5000만 개의 이벤트를 재구성하여 전체 분산 분석 파이프라인을 테스트하고자 했다.
• Clarens 원격 데이터서버 프로토타입이 성공적으로 배포되었으며, 파이썬, C++, GUI 기반 인터페이스를 포함한 다수의 클라이언트를 지원했고, 인증 및 보안 메커니즘이 구현되어 있었다.
• COBRA 및 IGUANA 프레임워크는 표준화된 데이터 액세스 프로토콜을 통해 기초 인프라에서 분리된 물리학 모듈을 갖춘 일관되고 모듈화되고 확장 가능한 분석 워크플로우를 가능하게 했다.
• 이전 기술 변경 사항이 프레임워크 및 서비스 레이어에 고립되어 있어 후행 호환성과 새로운 컴퓨팅 플랫폼으로의 원활한 진화를 보장하는 데 성공한 이행 전략을 수립했다.
• IGUANA 환경에서 ROOT 기반 C++ 클라이언트와 파이썬 GUI 클라이언트의 사용은 CMS 커뮤니티 내에서 강한 수용과 사용성 확보를 보였으며, 이로 인해 자바 분석 스튜디오 클라이언트는 사용 중단되었다.