[论文解读] Dos and don'ts of reduced chi-squared

Rene Andrae, T. Schulze-Hartung+1 more|arXiv (Cornell University)|Dec 16, 2010

Statistical and numerical algorithms参考文献 2被引用 184

一句话总结

本文批判性地审视了在天体物理学模型评估中使用减少卡方($χ^2_{εεδ}$)的问题，指出了两个核心缺陷：(1) 对于非线性模型，自由度的数量定义不明确，导致$χ^2_{εεδ}$在计算上不可行；(2) $χ^2_{εεδ}$的取值本身因数据噪声而高度不确定，尤其在小样本数据集中更为明显。作者得出结论：$χ^2_{εεδ}$仅应在极端谨慎的情况下用于线性模型，而完全不应用于非线性模型，建议使用交叉验证和自助法作为更可靠的模型比较与误差估计替代方法。

ABSTRACT

Reduced chi-squared is a very popular method for model assessment, model comparison, convergence diagnostic, and error estimation in astronomy. In this manuscript, we discuss the pitfalls involved in using reduced chi-squared. There are two independent problems: (a) The number of degrees of freedom can only be estimated for linear models. Concerning nonlinear models, the number of degrees of freedom is unknown, i.e., it is not possible to compute the value of reduced chi-squared. (b) Due to random noise in the data, also the value of reduced chi-squared itself is subject to noise, i.e., the value is uncertain. This uncertainty impairs the usefulness of reduced chi-squared for differentiating between models or assessing convergence of a minimisation procedure. The impact of noise on the value of reduced chi-squared is surprisingly large, in particular for small data sets, which are very common in astrophysical problems. We conclude that reduced chi-squared can only be used with due caution for linear models, whereas it must not be used for nonlinear models at all. Finally, we recommend more sophisticated and reliable methods, which are also applicable to nonlinear models.

研究动机与目标

• 识别并解释在天体物理学中使用减少卡方($\\chi^2_{\\text{red}}$)进行模型评估、比较和收敛性诊断的根本局限性。
• 证明对于非线性模型，自由度的数量无法可靠估计，导致$χ^2_{εεδ}$在这些情况下无法适用。
• 量化统计噪声对$χ^2_{εεδ}$不确定性的影响，表明即使在大数据集中，其取值也可能显著波动。
• 倡导使用更稳健、与模型无关的替代方法，如交叉验证和自助法，以实现可靠的模型比较与误差估计。

提出的方法

• 将自由度定义为通过拟合$P$个参数到$N$个数据点所施加的独立约束数量，在理想线性情况下得出$K = N - P$。
• 使用线性代数推导具有基函数的线性模型的有效自由度，表明$K$取决于数据点处基函数的线性无关性。
• 在高斯噪声下分析$χ^2_{εεδ}$的抽样分布，推导出其标准误为$\sigma \approx \sqrt{2/N}$（当$N$较大时）。
• 提出留一法自助法和交叉验证作为$χ^2_{εεδ}$的稳健替代方法，重点评估预测性能。
• 使用标准化残差评估模型保真度，作为独立于$χ^2_{εεδ}$的诊断工具。
• 建议使用对自由度数量不敏感且对过拟合与预测误差敏感的模型比较技术。

实验结果

研究问题

• RQ1 为何非线性模型的自由度数量模糊不清？为何这会阻止$χ^2_{εεδ}$的计算？
• RQ2 数据中的随机噪声如何影响$χ^2_{εεδ}$作为模型拟合或收敛性诊断的可靠性？
• RQ3 在典型天体物理学数据集中（尤其是小样本），$χ^2_{εεδ}$的统计不确定性有多大？
• RQ4 在模型非线性和数据噪声存在的情况下，交叉验证和自助法是否能提供比$χ^2_{εεδ}$更可靠的模型比较？
• RQ5 在迭代拟合过程中，使用$χ^2_{εεδ}$进行误差估计和收敛性诊断的实际影响是什么？

主要发现

• 对于非线性模型，自由度的数量未知，且在拟合过程中可能变化，导致$χ^2_{εεδ}$在计算上不可行。
• 对于线性模型，有效自由度介于$N - P$和$N - 1$之间，具体取决于基函数在数据点处的线性无关性，且不总是等于$N - P$。
• 由于数据噪声导致的$χ^2_{εεδ}$不确定性非常显著：当$N = 1,000$时，$3\sigma$区间为$0.865 \leq \chi^2_{\text{red}} \leq 1.135$，使得基于接近1的取值进行的模型比较在统计上不可靠。
• 由于自由度存在根本性模糊性，$χ^2_{εεδ}$不应用于非线性模型的模型比较或收敛性诊断。
• 推荐使用交叉验证和自助法作为更可靠的模型比较替代方法，因为它们直接评估预测性能，且对模型复杂性和噪声具有鲁棒性。
• 使用$χ^2_{εεδ}$进行误差估计存在缺陷，作者建议采用替代方法，如Andrae (2010)中讨论的方法，特别是用于参数误差校准。