[논문 리뷰] Snowmass Energy Frontier Simulations using the Open Science Grid (A Snowmass 2013 whitepaper)

A. Avetisyan, S. Bhattacharya외 10명|arXiv (Cornell University)|2013. 08. 04.

Distributed and Parallel Computing Systems인용 수 6

한 줄 요약

이 논문은 Snowmass 2013 에너지 프론티어 연구를 위한 대규모 시뮬레이션 캠프에 대해 기술하며, 오픈 사이언스 그리드(OSG)를 활용하여 GlideinWMS를 이용한 분산 작업 스케줄링과 Parrot를 이용한 동적 CvmFS 액세스를 통해 수십억 개의 몬테카를로 이벤트를 생성한다. 이 노력은 14, 33, 100 TeV에서 표준모형 배경과 새로운 물리 현상 샘플을 고통계로 생산하여 향후 충돌기 프로그램의 핵심 물리적 발견 잠재력 평가를 가능하게 하였다.

ABSTRACT

Snowmass is a US long-term planning study for the high-energy community by the American Physical Society's Division of Particles and Fields. For its simulation studies, opportunistic resources are harnessed using the Open Science Grid infrastructure. Late binding grid technology, GlideinWMS, was used for distributed scheduling of the simulation jobs across many sites mainly in the US. The pilot infrastructure also uses the Parrot mechanism to dynamically access CvmFS in order to ascertain a homogeneous environment across the nodes. This report presents the resource usage and the storage model used for simulating large statistics Standard Model backgrounds needed for Snowmass Energy Frontier studies.

연구 동기 및 목표

• Snowmass 2013 에너지 프론티어 연구를 위한 표준모형 배경과 새로운 물리 신호의 고통계 몬테카를로 샘플을 생성하기 위해.
• 최근 관측된 힉스 보손과 새로운 물리 현상의 향후 고에너지 충돌기에서의 물리적 발견 잠재력 평가를 위해.
• 기회적이고 분산된 컴퓨팅 자원을 대규모 HEP 시뮬레이션 워크로드에 사용하는 것이 가능한지 입증하기 위해.
• OSG를 활용하여 미국의 여러 기관 간에 확장 가능하고 이식 가능하며 재현 가능한 시뮬레이션 인프라를 개발하고 구현하기 위해.
• 미래 충돌기 로드맵을 위한 데이터 기반 입력을 제공함으로써 미국 고에너지 물리 프로그램의 장기적 계획을 지원하기 위해.

제안 방법

• 121개의 OSG 사이트에 걸쳐 파ilot 작업을 제출하고 스케줄링하기 위해 HTCondor와 함께 GlideinWMS를 사용하여 기회적 분산 컴퓨팅 자원을 활용하였다.
• 이종적인 워커 노드 간에 일관되고 균일한 소프트웨어 환경을 확보하기 위해 CvmFS에 동적으로 액세스하기 위해 Parrot 메커니즘을 사용하였다.
• 두 단계 시뮬레이션을 수행: 첫 번째로, MadGraph가 그리드팩스를 사용하여 LHE 형식의 이벤트 파일을 생성하였고, 두 번째로, Delphes가 피로도 조건을 고려하여 검출기 반응을 시뮬레이션 하였다.
• 큰 최소 충돌 파일(1 GB)을 공유 스토리지에 캐시하여 매 작업 별 전송을 방지하고 I/O 오버헤드를 줄이기 위해 데이터 전송을 최적화 하였다.
• 최종 Delphes 출력을 ROOT 형식으로 저장하였으며, 공개 읽기 액세스를 위해 인증 기반 액세스와 XRootD를 사용하여 여러 Tier-1 사이트(FNAL, UNL, BNL)에 저장하였다.
• LPC(LHE), FNAL(CMS dCache), UNL(Hadoop)에 전용 스토리지 위치를 마련하여 데이터 배포 및 장기 아카이빙을 관리하였으며, 월별로 데이터 볼륨을 추적하였다.

실험 결과

연구 질문

• RQ1 향후 충돌기 물리학 연구를 위해 기회적 그리드 자원을 사용하여 대규모 고통계 몬테카를로 시뮬레이션을 효율적으로 생성할 수 있는 방법은 무엇인가?
• RQ2 14, 33, 100 TeV에서 현실적인 피로도 조건을 고려한 양성자-양성자 충돌을 시뮬레이션하는 데 최적의 워크플로우는 무엇인가?
• RQ3 OSG와 같은 이종적이고 분산된 컴퓨팅 인fra에서 소프트웨어 환경의 일관성을 유지하는 방법은 무엇인가?
• RQ4 GlideinWMS와 Parrot를 HEP 시뮬레이션 워크로드에 사용할 때의 성능 및 확장성 특성은 무엇인가?
• RQ5 보안적이고 표준화된 프로토콜을 사용하여 여러 기관 간에 대규모 시뮬레이션 출력을 효율적으로 저장하고 공유하며 액세스할 수 있는 방법은 무엇인가?

주요 결과

• 프로젝트 기간 동안 하루 평균 약 14,000개의 작업이 완료되었으며, 2013년 5월 말과 6월 초에 최대 70,000~80,000개의 작업이 발생했으며, 주로 LHE 생성과 Delphes 처리에 기인하였다.
• 프로젝트 기간 동안 페르미랩 dCache로 268.3 TB, 유니버시티 오브 네브라스카 린졸린 스토리지로 62.5 TB의 데이터가 전송되었다.
• 상위 15개 OSG 사이트가 총 550만 시간 이상의 컴퓨팅 시간을 기여하였으며, 특히 USCMS-FNAL-WC1가 3,411,395시간으로 가장 높은 기여를 하였다.
• 동적 CvmFS 액세스를 위해 Parrot를 사용함으로써 소프트웨어 설정 문제를 크게 줄이고 분산된 사이트 전반에서 작업 신뢰성을 향상시켰다.
• 시뮬레이션 파이프라인은 0, 50, 140개의 평균 피로도 상호작용 조건을 고려하여 14, 33, 100 TeV 중심질량 에너지에서 고품질의 물리적 관련 이벤트 샘플을 성공적으로 생성하고 저장하였다.
• 최종 데이터셋은 UNL의 공개 웹 인터페이스와 XRootD를 통해 전체 HEP 커뮤니티에 공개되어 원래 협력자 외에도 널리 재사용될 수 있도록 하였다.