[논문 리뷰] DUNE Offline Computing Conceptual Design Report

The DUNE collaboration|arXiv (Cornell University)|2022. 10. 28.

Astrophysics and Cosmic Phenomena인용 수 4

한 줄 요약

이 개념 설계 보고서는 대량의 데이터를 처리해야 하는 실험을 위해 분산 컴퓨팅, 데이터 관리, 소프트웨어 프레임워크를 통합한 DUNE 오프라인 컴퓨팅 인프라를 개략적으로 기술한다. 이 보고서는 Rucio를 통한 데이터 관리, ROOT 및 HDF5를 통한 데이터 포맷, Kubernetes를 통한 오케스트레이션을 활용하여 확장성 있고 클라우드 및 그리드 기반의 시스템을 제안하며, 수십 년에 걸쳐 중성자 검출에서 유도되는 페타바이트 수준의 데이터 세트를 효율적으로 처리하고 분석할 수 있도록 한다.

ABSTRACT

This document describes the conceptual design for the Offline Software and Computing for the Deep Underground Neutrino Experiment (DUNE). The goals of the experiment include 1) studying neutrino oscillations using a beam of neutrinos sent from Fermilab in Illinois to the Sanford Underground Research Facility (SURF) in Lead, South Dakota, 2) studying astrophysical neutrino sources and rare processes and 3) understanding the physics of neutrino interactions in matter. We describe the development of the computing infrastructure needed to achieve the physics goals of the experiment by storing, cataloging, reconstructing, simulating, and analyzing $\sim$ 30 PB of data/year from DUNE and its prototypes. Rather than prescribing particular algorithms, our goal is to provide resources that are flexible and accessible enough to support creative software solutions and advanced algorithms as HEP computing evolves. We describe the physics objectives, organization, use cases, and proposed technical solutions.

연구 동기 및 목표

• 딥 어드어드라운드 뉴트리노 실험(DUNE)을 위한 견고하고 확장성 있으며 확장 가능한 오프라인 컴퓨팅 인프라를 설계하여, 실험의 운영 기간 동안 페타바이트 수준의 데이터 세트를 생성하는 것을 목표로 한다.
• 클라우드, 고성능 컴퓨팅(HPC), 그리고 그리드 시설을 포함한 이질적인 컴퓨팅 자원을 통합하여 글로벌 협업 환경에서 효율적인 데이터 처리 및 분석을 보장한다.
• 기존의 HEP 표준(예: ROOT, HDF5, FHiCL)과 현대적인 오케스트레이션 기법(Kubernetes)을 기반으로 한 모듈식 소프트웨어 스택을 정의하여 재현 가능하고 성능이 우수한 분석 워크플로우를 지원한다.
• Rucio와 MetaCat를 사용하여 메타데이터 및 데이터 관리 시스템을 구현하여 분산된 사이트 간의 데이터 기원 추적, 데이터 탐색, 액세스 제어를 가능하게 한다.
• 커뮤니티 표준과 기존 도구(예: FIFE, FTS3, dCache)를 활용하여 다른 HEP 실험과의 상호운용성과 장기적 지속 가능성을 확보한다.

제안 방법

• Fermilab의 NERSC와 CERN의 컴퓨팅 시설을 포함한 중심집중형 및 분산형 자원을 조합한 하이브리드 컴퓨팅 모델을 채택하여 데이터 처리 및 분석을 지원한다.
• 글로벌 사이트 간의 데이터 복제, 위치 추적, 액세스 제어를 가능하게 하는 Rucio를 핵심 데이터 관리 서비스로 사용하여 다층 데이터 관리 시스템을 구현한다.
• 데이터 저장 및 분석을 위해 ROOT 프레임워크를 사용하며, 대규모 검출기 시뮬레이션 및 재구성 워크플로우에서 효율적인 입출력과 계층적 데이터 구조를 위해 HDF5를 확장 적용한다.
• 분석 및 처리 워크로드를 이식 가능하고 확장성 있으며 고신뢰성 있게 배포 및 관리하기 위해 컨테이너 오케스트레이션 도구인 Kubernetes를 활용한다.
• MetaCat를 통한 기원 추적을 통해 데이터 기원, 소프트웨어 버전, 처리 파rameter를 기록하여 재현성과 감사 가능성을 확보한다.
• 작업 제출 및 워크플로우 관리를 위한 FIFE(Fermilab Infrastructure for Future Experiments)와 보안성과 고속도 전송을 보장하는 FTS3를 통합하여 기존 HEP 소프트웨어 생태계를 활용한다.

실험 결과

연구 질문

• RQ1 DUNE의 20년 이상 운영 기간 동안 예상되는 페타바이트 수준의 데이터 볼륨을 처리하기 위해 글로벌 분산 컴퓨팅 인프라는 어떻게 아키텍처화될 수 있는가?
• RQ2 어떤 데이터 포맷, 메타데이터 시스템, 스토리지 서비스 조합이 이질적인 컴퓨팅 환경에서 효율적이고 확장성 있으며 안전한 데이터 관리를 보장하는가?
• RQ3 현대적인 컨테이너화 및 오케스트레이션 기법(Kubernetes 등)은 DUNE 오프라인 소프트웨어 스택에 어떻게 통합되어 이식성, 재현성, 자원 활용도를 향상시킬 수 있는가?
• RQ4 기존의 HEP 소프트웨어 도구(ROOT, Rucio, FTS3 등)는 DUNE 컴퓨팅 생태계의 상호운용성과 장기적 지속 가능성을 어떻게 지원하는가?
• RQ5 분산된 분석 및 처리 파이프라인 전반에서 종단 간 데이터 기원과 워크플로우 재현성을 어떻게 보장할 수 있는가?

주요 결과

• DUNE 오프라인 컴퓨팅 시스템은 실험 기간 동안 100페타바이트 이상의 데이터를 관리하도록 설계되었으며, 2040년까지 데이터 볼륨이 크게 증가할 것으로 예측된다.
• Rucio는 핵심 데이터 관리 시스템으로 선정되어 15개 이상의 국제 사이트 간에 동적 데이터 복제, 위치 인식 액세스, 정책 기반 데이터 이동을 가능하게 한다.
• 주요 데이터 포맷으로는 HDF5와 ROOT을 사용하며, HDF5는 시뮬레이션 및 재구성 워크플로우에서 고성능 입출력을 위해 활용되고, ROOT는 분석 및 영구 저장을 위해 사용된다.
• Kubernetes 기반 오케스트레이션은 분석 및 처리 워크로드의 이식 가능하고 확장성 있으며 내구성 있는 배포를 가능하게 하여 운영 복잡도를 감소시키고 자원 활용도를 향상시킨다.
• MetaCat는 메타데이터 카탈로그로 구현되어 데이터 기원, 소프트웨어 버전, 처리 파rameter를 지속적이고 체계적으로 추적하여 재현성을 보장한다.
• FIFE, FTS3, dCache의 통합을 통해 글로벌 컴퓨팅 시설 간 보안성과 고속도 전송이 보장되며, CMS 및 ATLAS 표준과 일치하는 성능 벤치마크가 확보된다.