[论文解读] DUNE Offline Computing Conceptual Design Report

The DUNE collaboration|arXiv (Cornell University)|Oct 28, 2022

Astrophysics and Cosmic Phenomena被引用 4

一句话总结

本概念设计报告概述了DUNE离线计算基础设施，整合了分布式计算、数据管理与软件框架，以应对实验产生的海量数据。该系统提出了一套可扩展的、支持云与网格计算的架构，采用Rucio进行数据管理，使用ROOT与HDF5作为数据格式，并通过Kubernetes实现编排，从而实现对几十年来中微子探测产生的多拍字节数据集的高效处理与分析。

ABSTRACT

This document describes the conceptual design for the Offline Software and Computing for the Deep Underground Neutrino Experiment (DUNE). The goals of the experiment include 1) studying neutrino oscillations using a beam of neutrinos sent from Fermilab in Illinois to the Sanford Underground Research Facility (SURF) in Lead, South Dakota, 2) studying astrophysical neutrino sources and rare processes and 3) understanding the physics of neutrino interactions in matter. We describe the development of the computing infrastructure needed to achieve the physics goals of the experiment by storing, cataloging, reconstructing, simulating, and analyzing $\sim$ 30 PB of data/year from DUNE and its prototypes. Rather than prescribing particular algorithms, our goal is to provide resources that are flexible and accessible enough to support creative software solutions and advanced algorithms as HEP computing evolves. We describe the physics objectives, organization, use cases, and proposed technical solutions.

研究动机与目标

• 为深地中微子实验（DUNE）设计一个稳健、可扩展且可扩展的离线计算基础设施，该实验在其运行寿命内将产生多拍字节的数据集。
• 通过整合异构计算资源（包括云、高性能计算和网格设施），确保在全球合作范围内高效处理、管理和分析数据。
• 基于成熟的高能物理（HEP）标准（如ROOT、HDF5、FHiCL）和现代编排技术（Kubernetes）定义模块化软件堆栈，以支持可复现且高性能的分析工作流。
• 通过Rucio和MetaCat实现元数据与数据管理系统，以支持跨分布式站点的溯源追踪、数据发现与访问控制。
• 通过遵循社区标准并利用现有工具（如FIFE、FTS3和dCache），确保长期可持续性与与其他HEP实验的互操作性。

提出的方法

• 采用混合计算模式，结合集中式与分布式资源，包括费米国家加速器实验室的NERSC和欧洲核子研究中心（CERN）的计算设施，以支持数据处理与分析。
• 实施多层数据管理系统，以Rucio作为核心数据管理服务，实现跨全球站点的数据复制、位置追踪与访问控制。
• 使用ROOT框架进行数据存储与分析，通过HDF5扩展实现高效I/O与分层数据组织，尤其适用于大规模探测器模拟与重建工作流。
• 采用Kubernetes进行容器编排，以可移植、可扩展且容错的方式部署和管理分析与处理工作负载。
• 通过MetaCat实现溯源追踪，记录数据血缘、软件版本与处理参数，确保可复现性与可审计性。
• 利用现有的高能物理软件生态系统，如FIFE（费米实验室未来实验基础设施）用于作业提交与工作流管理，以及FTS3用于安全、高吞吐量的数据传输。

实验结果

研究问题

• RQ1 如何设计一个全球分布的计算基础设施，以应对DUNE在20多年运行周期内预期产生的多拍字节数据量？
• RQ2 哪些数据格式、元数据系统与存储服务的组合，能够确保在异构计算环境中实现高效、可扩展且安全的数据管理？
• RQ3 如何将现代容器化与编排技术（如Kubernetes）集成到DUNE离线软件堆栈中，以提升可移植性、可复现性与资源利用率？
• RQ4 既有的高能物理软件工具（如ROOT、Rucio、FTS3）在实现DUNE计算生态系统的互操作性与长期可持续性方面发挥什么作用？
• RQ5 如何在分布式分析与处理流水线中确保端到端的数据溯源与工作流可复现性？

主要发现

• DUNE离线计算系统设计用于管理实验生命周期内超过100拍字节的数据，数据量预计在2040年前持续显著增长。
• 选定Rucio作为核心数据管理系统，支持跨15个以上国际站点的动态数据复制、位置感知访问与基于策略的数据迁移。
• 系统主要采用HDF5与ROOT作为数据格式，其中HDF5用于模拟与重建工作流中的高性能I/O，ROOT则用于分析与持久化存储。
• 基于Kubernetes的编排支持分析与处理工作负载的可移植、可扩展且高可用的部署，降低运维复杂度并提升资源利用率。
• MetaCat作为元数据目录被实现，提供持久化、结构化的数据溯源、软件版本与处理参数追踪，确保可复现性。
• 通过集成FIFE、FTS3与dCache，确保全球计算设施间安全、高吞吐量的数据传输与作业提交，性能基准与CMS及ATLAS标准保持一致。