[论文解读] Distance Correlation: A New Tool for Detecting Association and Measuring Correlation Between Data Sets

Donald St. P. Richards|arXiv (Cornell University)|Aug 14, 2017

Advanced Statistical Methods and Models参考文献 4被引用 8

一句话总结

本文引入距离相关性作为一种强大且无需模型的检测方法，可识别任意维度随机向量之间的线性和非线性关联，克服皮尔逊相关性的局限。通过理论推导和天体物理学与社会科学中的实证应用，距离相关性在皮尔逊相关性失效时仍能识别显著关系——尤其是非线性关系，具有更高的统计功效，并能更有效地检测马蹄形和V形等复杂数据结构。

ABSTRACT

The difficulties of detecting association, measuring correlation, and establishing cause and effect have fascinated mankind since time immemorial. Democritus, the Greek philosopher, underscored well the importance and the difficulty of proving causality when he wrote, "I would rather discover one cause than gain the kingdom of Persia." To address the difficulties of relating cause and effect, statisticians have developed many inferential techniques. Perhaps the most well-known method stems from Karl Pearson's coefficient of correlation, which Pearson introduced in the late 19th century based on ideas of Francis Galton. I will describe in this lecture the recently-devised distance correlation coefficient and describe its advantages over the Pearson and other classical measures of correlation. We will examine an application of the distance correlation coefficient to data drawn from large astrophysical databases, where it is desired to classify galaxies according to various types. Further, the lecture will analyze data arising in the ongoing national discussion of the relationship between state-by-state homicide rates and the stringency of state laws governing firearm ownership. The lecture will also describe a remarkable singular integral which lies at the core of the theory of the distance correlation coefficient. We will see that this singular integral admits generalizations to the truncated Maclaurin expansions of the cosine function and to the theory of spherical functions on symmetric cones.

研究动机与目标

• 开发一种能够检测随机向量之间线性和非线性依赖关系的相关性度量，克服皮尔逊相关性的局限。
• 提供一种具有更高统计功效的统计工具，尤其适用于检测复杂、非单调关系中的关联。
• 实现高维数据中依赖关系的检测，当传统方法失效时仍有效，包括非高斯或非单调关系的情形。
• 通过天体物理学和社交科学中的真实世界数据集进行实证验证，证明该方法在性能上优于经典相关性度量。

提出的方法

• 本文通过特征函数的积分定义距离协方差，涉及随机向量X和Y的联合与边缘特征函数。
• 将距离相关系数定义为距离协方差的归一化形式，确保其在位置和尺度变换下的不变性。
• 通过基于观测值之间成对欧氏距离的计算高效公式（4）计算经验距离协方差，避免直接进行积分。
• 该方法利用涉及范数的逆幂函数的傅里叶变换的奇异积分恒等式，实现解析可处理性。
• 该方法推广至任意维度p和q的随机向量，使其适用于多元和高维数据。
• 建立了理论性质，包括距离相关系数为零等价于随机独立性。

实验结果

研究问题

• RQ1 距离相关性能否检测到皮尔逊相关性无法识别的非线性关联？
• RQ2 在复杂数据结构中，距离相关性在检测真实关联时是否表现出高于皮尔逊相关性的统计功效？
• RQ3 距离相关性能否有效解析高维数据中的V形或马蹄形散点图，如天体物理数据集中所观察到的？
• RQ4 距离相关性在真实世界应用中是否稳健且有效，例如在分析州级谋杀率与枪支法律时？
• RQ5 距离协方差的数学基础是什么，特别是奇异积分在其公式构建中的作用？

主要发现

• 在COMBO-17天体物理数据集中，距离相关性检测到了皮尔逊相关性未识别出的显著非线性关联，尤其成功解析了星系数据中的V形和马蹄形模式。
• 对于红移z ∈ [0, 0.5)的星系，距离相关性揭示了比皮尔逊相关性更强且更结构化的关联关系，提升了分类准确率，并识别出星系类型分组中的污染现象。
• 在对美国各州谋杀率与枪支法律的分析中，尽管皮尔逊相关性未显示显著关系，但距离相关性在按区域或人口密度分层后揭示了强烈关联。
• 经验距离协方差可通过涉及成对距离的闭式表达式（4）进行计算，实现高效计算而无需数值积分。
• 理论结果证实，零距离相关性意味着随机独立性，使其成为完全依赖性检验的有效工具。
• 该方法表现出高于皮尔逊相关性的统计功效，显著降低了在复杂非线性数据中检测真实关联时的假阴性率。