[论文解读] Consistent, multidimensional differential histogramming and summary statistics with YODA 2

A. G. Buckley, Corpe, Louie+6 more|arXiv (Cornell University)|Dec 22, 2023

Computational Physics and Python Applications被引用 4

一句话总结

本文介绍了 YODA 2，这是一个现代、类型安全的 C++ 库，用于在粒子物理学高性能计算中实现一致的多维微分直方图化与汇总统计。该库通过将分箱逻辑与统计内容分离，实现了对大规模数据集的高效、数值稳定的聚合，并原生支持通过基于文本的脚本生成在 Python 中进行绘图，同时支持可扩展的数据格式，包括 HDF5 和 MPI 序列化。

ABSTRACT

Histogramming is often taken for granted, but the power and compactness of partially aggregated, multidimensional summary statistics, and their fundamental connection to differential and integral calculus make them formidable statistical objects, especially when very large data volumes are involved. But expressing these concepts robustly and efficiently in high-dimensional parameter spaces and for large data samples is a highly non-trivial challenge -- doubly so if the resulting library is to remain usable by scientists as opposed to software engineers. In this paper we summarise the core principles required for consistent generalised histogramming, and use them to motivate the design principles and implementation mechanics of the re-engineered YODA histogramming library, a key component of physics data-model comparison and statistical interpretation in collider physics.

研究动机与目标

• 解决现有直方图库在处理高维、大规模数据时，统计语义不一致的问题。
• 设计一个在保持微分直方图数学严谨性的同时，对物理学家和科学家友好、而不仅限于软件工程师的库。
• 实现在分布式和高性能计算环境中可高效、可扩展且可并行化的直方图聚合。
• 通过标准化、人类可读且可扩展的格式，支持灵活的数据交换、持久化和可视化。
• 提供统一、可扩展的统计分析框架，支持未来扩展，如系统不确定性与非捆绑数据类型。

提出的方法

• 通过双层设计将分箱划分与统计内容解耦：运行时（可变）和惰性（不可变）数据类型。
• 在 C++ 中使用模板元编程以强制类型安全，并支持统计操作的编译时优化。
• 使用贝塞尔校正估计器，实现加权与非加权矩（均值、方差）的一致、数值稳定的计算。
• 通过递归分箱和二阶累积量的投影，支持多维直方图化，并实现维度间精确转换。
• 从直方图数据生成人类可读、可执行的 Python 绘图脚本，通过 Matplotlib 实现可重现且可定制的可视化。
• 提供 MPI 的网络序列化支持，并支持在自定义基于文本的格式（HDF5 正在开发中）中持久存储，以实现可移植性与高性能。

Figure 5: Example 1D and 2D plot outputs from the Y ODA 2 plotting interface, illustrating a mix of uniform and irregular bin sizes, and automatic use of ratio plotting for 1D data/prediction comparisons.

实验结果

研究问题

• RQ1 如何在高维参数空间中同时实现直方图化的数学一致性与计算高效性？
• RQ2 哪些设计原则能使直方图库在高性能的同时对物理学家友好，而无需深入软件工程专业知识？
• RQ3 如何在保持数值精度的前提下，稳健地聚合大规模分布式数据集的统计矩？
• RQ4 哪些机制能够实现多维直方图不同投影之间高效、无损的转换？
• RQ5 如何实现直方图数据在平台和计算环境之间持久化存储与共享，同时最小化耦合？

主要发现

• YODA 2 有效实现了分箱逻辑与统计内容的解耦，使得在 C++ 中实现高效、类型安全且数值稳定的直方图聚合成为可能，并支持编译时优化。
• 该库支持一致的多维微分直方图化，能够精确转换二阶统计累积量的投影，确保数学保真度。
• 运行时与惰性数据类型严格分离，支持单向转换，减少运行时错误，并在高吞吐量工作负载中实现高效的内存管理。
• Python 绘图接口生成透明、可执行的脚本，可直接与 Matplotlib 交互，支持可重现、可定制且协作友好的可视化工作流。
• 该库已可投入生产使用，并已在高能物理中的 Rivet MC 分析框架中实际部署，证明了其在真实 HEP 应用中的可扩展性与鲁棒性。
• 未来计划支持 HDF5 持久化与多权重系统不确定性，同时具备对非捆绑数据类型的支持能力，并通过现代 C++ 模板技术持续演进。