[논문 리뷰] ATLAS Data Challenge 1

G. Poulard|ArXiv.org|2003. 06. 12.

Distributed and Parallel Computing Systems인용 수 3

한 줄 요약

이 논문은 대형 하드론 충돌기 운영 전에 ATLAS 실험의 계산 모델, 소프트웨어 스위트, 데이터 모델을 검증하기 위해 수행된 대규모 분산 계산 연습인 ATLAS 데이터 챌린지 1(DC1)을 제시한다. 그리드 미들웨어를 사용하여 18개 국가의 39개 기관에서 1,000만 개 이상의 물리 이벤트와 3,000만 개의 단일 입자 이벤트를 성공적으로 생성하였으며, 71,000 CPU일의 계산 자원을 소비하고 35,000개의 파artition으로 나누어 30테라바이트의 데이터를 생성하였다. 이는 분산 계산 환경에서 글로벌 협업 기반 몬테카를로 시뮬레이션의 실현 가능성을 입증한다.

ABSTRACT

In 2002 the ATLAS experiment started a series of Data Challenges (DC) of which the goals are the validation of the Computing Model, of the complete software suite, of the data model, and to ensure the correctness of the technical choices to be made. A major feature of the first Data Challenge (DC1) was the preparation and the deployment of the software required for the production of large event samples for the High Level Trigger (HLT) and physics communities, and the production of those samples as a world-wide distributed activity. The first phase of DC1 was run during summer 2002, and involved 39 institutes in 18 countries. More than 10 million physics events and 30 million single particle events were fully simulated. Over a period of about 40 calendar days 71000 CPU-days were used producing 30 Tbytes of data in about 35000 partitions. In the second phase the next processing step was performed with the participation of 56 institutes in 21 countries (~ 4000 processors used in parallel). The basic elements of the ATLAS Monte Carlo production system are described. We also present how the software suite was validated and the participating sites were certified. These productions were already partly performed by using different flavours of Grid middleware at ~ 20 sites.

연구 동기 및 목표

• 대형 하드론 충돌기 운영 전에 ATLAS 계산 모델, 소프트웨어 스위트, 데이터 모델을 검증하기 위해.
• 고에너지 물리학을 위한 세계적인 분산 계산 인프라의 확장성과 신뢰성을 테스트하기 위해.
• 그리드 미들웨어를 사용하여 다양한 계산 환경 간의 상호운용성을 확보하고 참가 기관을 인증하기 위해.
• 고수준 트리거 및 물리 공동체를 위해 대규모 몬테카를로 이벤트 샘플을 생성하고 처리하기 위해.
• ATLAS 실험의 향후 데이터 챌린지 및 생산 워크플로우를 위한 기반을 마련하기 위해.

제안 방법

• DC1의 첫 번째 단계는 18개 국가의 39개 기관이 분산 계산 자원에서 ATLAS 몬테카를로 생산 소프트웨어 스위트를 배포하고 실행하는 것을 포함하였다.
• 상호운용성과 워크로드 분배를 위해 약 20개의 사이트에서 다양한 종류의 그리드 미들웨어를 사용하였다.
• 총 40개의 달력 일 동안 71,000 CPU일의 계산 자원을 소비하여 1,000만 개의 물리 이벤트와 3,000만 개의 단일 입자 이벤트를 시뮬레이션하였다.
• 분산 환경에서의 확장 가능한 처리 및 저장을 지원하기 위해 데이터는 약 35,000개의 파일로 분할되었다.
• 두 번째 단계는 21개 국가의 56개 기관이 참여하였으며, 후속 처리 단계에서 약 4,000개의 프로세서를 병렬로 사용하였다.
• 생산 작업의 성공적 실행 및 ATLAS 소프트웨어 및 데이터 표준 준수 여부를 바탕으로 사이트 인증이 수행되었다.

실험 결과

연구 질문

• RQ1 글로벌 분산 계산 인프라는 ATLAS 실험을 위한 대규모 몬테카를로 이벤트 샘플을 성공적으로 생성하고 관리할 수 있는가?
• RQ2 ATLAS 소프트웨어 스위트는 이질적이고 다수의 기관이 참여하는 계산 환경에서 얼마나 효과적인가?
• RQ3 다양한 그리드 미들웨어 구현 방식이 고처리량 물리 데이터 생산 워크플로우에서 얼마나 잘 상호운용되는가?
• RQ4 실제 분산 조건 하에서 ATLAS 몬테카를로 생산 시스템의 성능 및 확장성 특성은 어떠한가?
• RQ5 다수의 국제 기관 간에 사이트 인증 및 소프트웨어 검증을 체계적으로 달성하는 방법은 무엇인가?

주요 결과

• ATLAS 데이터 챌린지 1은 분산 계산 모델을 사용하여 1,000만 개 이상의 물리 이벤트와 3,000만 개의 단일 입자 이벤트를 성공적으로 생성하였다.
• 총 71,000 CPU일의 계산 자원이 40개의 달력 일 동안 소비되어 약 35,000개의 파artition에 분할된 30테라바이트의 데이터가 생성되었다.
• 39개 기관이 18개 국가에 걸쳐 참여하여 고에너지 물리학 계산 분야에서의 국제 협업의 실현 가능성을 입증하였다.
• 두 번째 단계에서는 56개 기관이 21개 국가에 걸쳐 참여하였으며, 약 4,000개의 프로세서를 병렬로 사용하여 워크플로우의 확장성을 확인하였다.
• 소프트웨어 스위트는 성공적으로 검증되었으며, 생산 작업의 일관되고 정확한 실행을 바탕으로 참가 기관이 모두 인증되었다.
• ~20개의 사이트에서 다양한 그리드 미들웨어를 사용함으로써 분산 계산 프레임워크의 상호운용성과 견고성을 확인하였다.