[论文解读] A new correlation coefficient, its orthogonal decomposition and associated tests of independence

Wicher Bergsma|ArXiv.org|Apr 28, 2006

Advanced Statistical Methods and Models参考文献 22被引用 9

一句话总结

本文提出了一种新的相关系数 ρ*，其取值范围为 0 到 1，在独立时等于 0，在线性相关时等于 1。该系数基于绝对差值的核函数推导而来，可通过希尔伯特-施密特算子的特征函数实现成分相关性的正交分解，提供一种强大且可解释的独立性检验方法，兼具可视化诊断与渐近推断能力。

ABSTRACT

A possible drawback of the ordinary correlation coefficient $ρ$ for two real random variables $X$ and $Y$ is that zero correlation does not imply independence. In this paper we introduce a new correlation coefficient $ρ^*$ which assumes values between zero and one, equalling zero iff the two variables are independent and equalling one iff the two variables are linearly related. The coefficients $ρ^*$ and $ρ^2$ are shown to be closely related algebraically, and they coincide for distributions on a $2 imes 2$ contingency table. We derive an orthogonal decomposition of $ρ^*$ as a positively weighted sum of squared ordinary correlations between certain marginal eigenfunctions. Estimation of $ρ^*$ and its component correlations and their asymptotic distributions are discussed, and we develop visual tools for assessing the nature of a possible association in a bivariate data set. The paper includes consideration of grade (rank) versions of $ρ^*$ as well as the use of $ρ^*$ for contingency table analysis. As a special case a new generalization of the Cram{é}r-von Mises test to $K$ ordered samples is obtained.

研究动机与目标

• 为解决皮尔逊相关系数 ρ 的局限性，即即使为零也无法检测非线性依赖关系。
• 开发一种相关度量 ρ*，在独立时为 0，在线性相关时为 1，且取值范围为 [0,1]。
• 实现 ρ* 的谱分解，将其分解为边际核 h_F 的特征函数之间的成分相关性。
• 通过 ρ* 及其成分，实现依赖结构的估计、推断与可视化。
• 将克雷默-冯·米塞斯检验推广至 K 个有序样本的情形，作为特例。

提出的方法

• 定义一个新的核函数 h_F(z₁,z₂) = -1/2 E[|z₁−z₂| − |z₁−Z₂| − |Z₁−z₂| + |Z₁−Z₂|]，用绝对差值替代平方差值。
• 构造 κ(X,Y) = E[h_{F₁}(X₁,X₂) h_{F₂}(Y₁,Y₂)]，一种基于 h_F 的类似协方差的泛函。
• 定义 ρ* = κ(X,Y)/√[κ(X,X)κ(Y,Y)]，确保 0 ≤ ρ* ≤ 1，且当且仅当 X 与 Y 线性相关时取值为 1。
• 推导正交分解：ρ* = Σ λ_k μ_k ρ_{kl}²，其中 λ_k, μ_k 为特征值，ρ_{kl} 为 h_{F₁} 与 h_{F₂} 特征函数之间的相关系数。
• 利用希尔伯特-施密特算子的谱理论，通过差分方程（离散情形）或微分方程（连续情形）求解特征函数。
• 提出 κ 与 ρ* 的 O(n²) 估计量，并在独立性原假设下推导其渐近零分布为卡方混合分布。

实验结果

研究问题

• RQ1 能否构造一种相关系数，可检测任意依赖关系（而不仅线性或单调关系），且在且仅在独立时为 0？
• RQ2 ρ* 如何被分解为可解释的正交成分，以揭示依赖关系的本质？
• RQ3 在独立性原假设下，样本 ρ* 的渐近分布为何？
• RQ4 如何估计成分相关系数 ρ_{kl} 并检验其显著性？
• RQ5 ρ* 能否推广至基于秩或基于拷贝的推断？是否可导出新的非参数检验？

主要发现

• ρ* 满足 0 ≤ ρ*(X,Y) ≤ 1，且 ρ*(X,Y) = 0 当且仅当 X 与 Y 独立，ρ*(X,Y) = 1 当且仅当 X 与 Y 线性相关。
• 正交分解 ρ* = Σ λ_k μ_k ρ_{kl}² 提供了对依赖关系的唯一且可解释的分解，其成分对应于边际核特征函数之间的依赖。
• 在挪威证券交易所数据中，ρ* = 0.09（p = 0.000），表明连续价格跳变之间存在强关联，经邦弗朗尼校正后发现 7 个显著的成分相关系数。
• 如 ρ̂₁₁ = 0.25、ρ̂₂₂ = 0.64 和 ρ̂₄₄ = 0.38 等成分相关系数显著（p = 0.000），表明大跳变与小跳变存在聚集现象。
• 权重 W_i 与 W_i^{(k,l)} 的可视化有效揭示了依赖关系的十字形结构，其中较重的上臂表明跳变方向具有持续性。
• 该方法将克雷默-冯·米塞斯检验推广至 K 个有序样本，提供一种新的非参数检验方法，用于检验 K 样本对称性。