[论文解读] Monte Carlo error analyses of Spearman's rank test

P. A. Curran|arXiv (Cornell University)|Nov 14, 2014

Advanced Statistical Methods and Models被引用 32

一句话总结

本文提出了三种基于蒙特卡洛的方法——重抽样、扰动和组合方法，用于估计斯皮尔曼等级相关系数的不确定性，尤其考虑了天文中数据中的测量误差。结果表明，忽略数据不确定性可能导致显著性被高估，其中一个案例显示，当正确建模不确定性时，显著性从8.2σ降至7.1±1.0σ。

ABSTRACT

Spearman's rank correlation test is commonly used in astronomy to discern whether a set of two variables are correlated or not. Unlike most other quantities quoted in astronomical literature, the Spearman's rank correlation coefficient is generally quoted with no attempt to estimate the errors on its value. This is a practice that would not be accepted for those other quantities, as it is often regarded that an estimate of a quantity without an estimate of its associated uncertainties is meaningless. This manuscript describes a number of easily implemented, Monte Carlo based methods to estimate the uncertainty on the Spearman's rank correlation coefficient, or more precisely to estimate its probability distribution.

研究动机与目标

• 解决天文学中广泛存在的仅报告斯皮尔曼等级相关系数而无相应误差估计的做法。
• 提供实用且可实现的蒙特卡洛方法，以估计斯皮尔曼等级相关系数的概率分布和不确定性。
• 通过扰动和组合方法，考虑天文中数据中常见的、在标准相关分析中常被忽略的测量不确定性。
• 证明忽略数据不确定性可能导致相关性检验中统计显著性的高估。
• 比较重抽样、扰动和组合方法的性能与假设，以根据科学背景指导方法选择。

提出的方法

• 通过从原始数据集中有放回地随机抽取N对数据共M次（M ≥ 1000）来实现重抽样（自助法），每次重新计算斯皮尔曼等级相关系数ρ和z统计量。
• 通过向每个数据点添加独立的高斯随机变量（按测量不确定性ΔXi和ΔYi缩放）来应用扰动方法，生成M个扰动后的数据集。
• 开发一种组合方法，先进行重抽样，再对重抽样后的数据点施加扰动，以同时考虑抽样误差和测量误差。
• 利用每种方法生成的ρ和z统计量分布来估计均值、标准差和置信区间，将其视为概率分布。
• 对z统计量应用费舍尔变换F(ρ) = arctanh(ρ)，以近似正态分布，从而通过z ≈ σ进行显著性检验。
• 将所得分布归一化为单位积分，以进行概率密度估计，便于不同方法之间的比较。

实验结果

研究问题

• RQ1 如何在斯皮尔曼等级相关系数的误差估计中恰当地纳入天文中数据的测量不确定性？
• RQ2 忽略数据点不确定性对相关性报告显著性有何影响？
• RQ3 重抽样、扰动和组合蒙特卡洛方法在估计斯皮尔曼等级相关系数不确定性方面有何异同？
• RQ4 在何种条件下应优先选择扰动方法而非重抽样方法，反之亦然？
• RQ5 在真实天文中数据集中，数据不确定性在多大程度上降低了相关性的显著性？

主要发现

• 标准方法报告相关系数ρ = 0.83，显著性为8.2σ，但当考虑不确定性时，这一显著性被高估。
• 扰动方法将估计的相关系数降低至ρ = 0.78 ± 0.04，显著性降至z = 7.2 ± 0.6，表明置信度明显下降。
• 组合方法得到ρ = 0.77 ± 0.06和z = 7.1 ± 1.0，显示不确定性分布更宽，显著性估计更保守。
• 组合方法产生的分布比扰动方法更宽，表明抽样误差和测量误差均对总不确定性有显著贡献。
• 结果表明，最初报告为约8.2σ的相关性，实际上有不可忽视的概率低于5σ阈值，挑战了高显著性结论的稳健性。
• 当数据不确定性为零时，扰动方法收敛于标准值处的狄拉克δ函数，而组合方法趋近于重抽样结果，证实了在极限情况下方法的一致性。