[论文解读] On fits to correlated and auto-correlated data

Mattia Bruno, Rainer Sommer|arXiv (Cornell University)|Jan 1, 2022

Particle physics theoretical and experimental studies被引用 2

一句话总结

本论文提出了一种稳健的方法，用于估计在格点量子色动力学（lattice QCD）中常见的相关和自相关数据拟合的拟合优度 p 值，尤其当逆协方差矩阵条件不佳或无法估计时。通过在 χ² 统计量中使用正则化权重矩阵，作者推导出期望 χ² 及其 p 值的解析可处理表达式，即使在无相关性或采用 SVD 正则化的拟合中，也能实现可靠的统计推断。

ABSTRACT

Observables in particle physics and specifically in lattice QCD calculations are often extracted from fits. Standard $\chi^2$ tests require a reliable determination of the covariance matrix and its inverse from correlated and auto-correlated data, a challenging task often leading to close-to-singular estimates. These motivate modifications of the definition of $\chi^2$ such as uncorrelated fits. We show how the goodness-of-fit measured by their p-value can still be estimated robustly for a broad class of such fits.

研究动机与目标

• 本论文解决了在格点 QCD 和粒子物理中，当数据存在相关性或自相关性时，可靠进行拟合优度检验的挑战。
• 当逆协方差矩阵接近奇异时，标准 χ² 检验会失效，这在统计量有限的蒙特卡洛模拟中十分常见。
• 本研究的目标是提供一种稳健且具有解析基础的方法，用于估计拟合的 p 值，而无需依赖可靠的逆协方差矩阵。
• 该方法适用于无相关性的拟合、SVD 正则化拟合以及其他在实践中常用的正则化方案。
• 目标是在缺乏精确协方差估计的情况下，保持拟合结果的统计有效性与可解释性。

提出的方法

• 作者定义了一个广义 χ² 统计量，使用对称正定权重矩阵 W，该矩阵可独立于协方差矩阵 C 选择。
• 他们通过在真实参数偏离量的微扰展开中，推导出在原假设（即模型拟合数据）下 ⟨χ²(ā)⟩ 的期望值。
• 关键结果是 ⟨χ²(ā)⟩ 的解析表达式，该表达式以权重矩阵 W 和模型雅可比矩阵表示，即使在 C⁻¹ 条件不佳时也成立。
• p 值通过自由度为数据点数减去拟合参数数的 χ² 分布进行估计，结合观测到的 χ² 值与推导出的期望值。
• 该方法通过扩展数据向量和协方差矩阵，被推广以处理多个数据集、动量空间不确定性以及高斯先验。
• 该方法在模型中进行了数值验证，并已实现为开源代码，便于实际应用。

实验结果

研究问题

• RQ1 当逆协方差矩阵接近奇异时，能否对相关或自相关数据的拟合可靠估计 p 值？
• RQ2 当使用无相关性拟合或 SVD 正则化权重而非真实 C⁻¹ 时，标准 χ² 检验是否仍保持有效且可解释？
• RQ3 在存在正则化或模型不确定性时，χ² 的期望值如何进行解析计算？
• RQ4 当数据因马尔可夫链蒙特卡洛采样导致自相关时，能否稳健评估拟合优度？
• RQ5 在全协方差矩阵无法估计的情况下（如大规模格点 QCD 模拟中），能否保持拟合的统计有效性？

主要发现

• 在原假设下，χ² 的期望值为 ⟨χ²(ā)⟩ = Nx − NA + O(1/N)，其中 Nx 为数据点数，NA 为拟合参数数。
• 即使无法获得逆协方差矩阵，也可通过自由度为 Nx − NA 的 χ² 分布可靠估计 p 值。
• 只要权重矩阵与数据结构一致，该方法在无相关性拟合（W² = diag(1/Cii)）和 SVD 正则化拟合中仍有效。
• 通过相应扩展数据向量和协方差矩阵，该方法可纳入动量空间不确定性与高斯先验。
• 在模型中的数值测试证实了所推导 p 值估计的稳健性与准确性。
• 该方法已实现为开源代码（https://mbruno46.github.io/chiexp），可在格点 QCD 及其他具有相关数据的领域中实际应用。