[论文解读] Comparison of Spearman's rho and Kendall's tau in Normal and Contaminated Normal Models

Weichao Xu, Yunhe Hou+2 more|arXiv (Cornell University)|Nov 9, 2010

Statistical Distribution Estimation and Applications参考文献 40被引用 14

一句话总结

本文在二元正态分布和污染正态模型下，提供了斯皮尔曼等级相关系数（Spearman’s rho）的方差以及斯皮尔曼等级相关系数与肯德尔等级相关系数（Kendall’s tau）之间协方差的精确解析表达式。研究揭示了两种等级相关系数在偏差、方差、均方误差和渐近相对效率方面存在显著差异，挑战了二者等价的普遍假设，并为在皮尔逊相关系数因非正态性或异常值而失效时选择二者提供了指导。

ABSTRACT

This paper analyzes the performances of the Spearman's rho (SR) and Kendall's tau (KT) with respect to samples drawn from bivariate normal and bivariate contaminated normal populations. The exact analytical formulae of the variance of SR and the covariance between SR and KT are obtained based on the Childs's reduction formula for the quadrivariate normal positive orthant probabilities. Close form expressions with respect to the expectations of SR and KT are established under the bivariate contaminated normal models. The bias, mean square error (MSE) and asymptotic relative efficiency (ARE) of the three estimators based on SR and KT to the Pearson's product moment correlation coefficient (PPMCC) are investigated in both the normal and contaminated normal models. Theoretical and simulation results suggest that, contrary to the opinion of equivalence between SR and KT in some literature, the behaviors of SR and KT are strikingly different in the aspects of bias effect, variance, mean square error, and asymptotic relative efficiency. The new findings revealed in this work provide not only deeper insights into the two most widely used rank based correlation coefficients, but also a guidance for choosing which one to use under the circumstances where the PPMCC fails to apply.

研究动机与目标

• 系统比较在二元正态分布和污染正态分布下，斯皮尔曼等级相关系数（SR）与肯德尔等级相关系数（KT）的统计特性。
• 解决文献中关于非参数相关估计中SR与KT等价性的不一致问题。
• 推导斯皮尔曼等级相关系数方差及斯皮尔曼等级相关系数与肯德尔等级相关系数之间协方差的精确解析表达式，改进现有近似方法。
• 评估基于SR和KT的估计量相对于皮尔逊积矩相关系数（PPMCC）在正态和污染正态模型下的偏差、均方误差（MSE）和渐近相对效率（ARE）。
• 为在等级数据、单调非线性或脉冲异常值导致皮尔逊相关系数不适用时，提供在SR与KT之间进行选择的实用指导。

提出的方法

• 利用Childs提出的四元正态分布第一卦限概率的约化公式，推导斯皮尔曼等级相关系数方差的精确解析公式。
• 通过解析推导，获得斯皮尔曼等级相关系数与肯德尔等级相关系数之间的协方差，纠正了先前文献中的一处小错误。
• 在二元污染正态模型下，建立斯皮尔曼等级相关系数与肯德尔等级相关系数期望的闭式表达式，纳入异常值比例和相关性参数。
• 利用Sheppard定理，将等级统计量的期望表示为相关系数反正弦变换的形式。
• 对大样本量进行渐近分析，推导SR与KT估计量的偏差、方差、均方误差和渐近相对效率（ARE）的表达式。
• 通过模拟方法验证理论结果，尤其在不同异常值水平下的污染正态模型中。

实验结果

研究问题

• RQ1 在二元正态分布下，斯皮尔曼等级相关系数与肯德尔等级相关系数在偏差、方差、均方误差和渐近相对效率方面如何比较？
• RQ2 在二元正态模型下，斯皮尔曼等级相关系数方差和斯皮尔曼等级相关系数与肯德尔等级相关系数之间协方差的精确解析表达式是什么？
• RQ3 在二元污染正态模型下，斯皮尔曼等级相关系数与肯德尔等级相关系数的期望行为如何，特别是在异常值污染程度增加时？
• RQ4 在正态和污染正态设定下，基于SR和KT的估计量相对于皮尔逊积矩相关系数的渐近相对效率（ARE）是多少？
• RQ5 理论发现在多大程度上挑战了斯皮尔曼等级相关系数与肯德尔等级相关系数在非参数相关分析中等价的普遍信念？

主要发现

• 利用Childs约化公式，斯皮尔曼等级相关系数的方差被精确推导为闭式表达，实现了高精度查表（表I），保留十位小数，优于以往的幂级数近似方法。
• 斯皮尔曼等级相关系数与肯德尔等级相关系数之间的协方差通过解析推导获得，纠正了文献中先前报告的一处小错误。
• 在污染正态模型下，斯皮尔曼等级相关系数与肯德尔等级相关系数的期望均以闭式表达，显示出对异常值比例ε和污染分量相关性的依赖。
• 理论与模拟结果表明，斯皮尔曼等级相关系数与肯德尔等级相关系数在偏差、方差、均方误差和渐近相对效率方面表现出显著差异，与等价性假设相矛盾。
• 发现肯德尔等级相关系数相对于斯皮尔曼等级相关系数的渐近相对效率（ARE）在许多情形下始终高于1，表明在正态和污染正态模型下，KT均比SR更高效。
• 研究结果为在数据类型、非线性或异常值污染导致皮尔逊相关系数不适用的实际应用中，提供选择SR与KT的理论依据。