[论文解读] A survey of some recent developments in measures of association

Sourav Chatterjee|arXiv (Cornell University)|Nov 9, 2022

Advanced Harmonic Analysis Research被引用 4

一句话总结

本文提出了一种新的非参数相关系数 ξₙ，其一致地估计随机变量之间的依赖程度，且极限值 ξ(X,Y) 恰好为 0 当且仅当 X 与 Y 独立，为 1 当且仅当 Y 几乎必然为 X 的可测函数。该方法基于秩次与顺序统计量，论文还将该方法扩展至标准 Borel 空间，并通过广义系数 ξₙ(Z,Y|X) 实现条件依赖的推广。

ABSTRACT

This paper surveys some recent developments in measures of association related to a new coefficient of correlation introduced by the author. A straightforward extension of this coefficient to standard Borel spaces (which includes all Polish spaces), overlooked in the literature so far, is proposed at the end of the survey.

研究动机与目标

• 提出一种新的非参数相关系数 ξₙ，其一致地估计依赖度量且具有清晰的解释性。
• 解决经典相关系数在检测非单调关联方面的局限性。
• 将该系数推广至一般标准 Borel 空间，从而实现对实值变量以外的更广泛应用。
• 定义条件依赖系数 ξₙ(Z,Y|X)，用于度量在给定 X 条件下 Y 对 Z 的依赖程度。
• 提供理论基础，并通过 R 包实现实际的统计检验与分析。

提出的方法

• 通过顺序统计量定义 ξₙ(X,Y)：按 X 排序数据，计算 Y 秩次的基于秩次的差异，并应用归一化差异公式。
• 使用极限形式 ξ(X,Y) = ∫Var(𝔼[1_{Y≥t}|X])dμ(t) / ∫Var(1_{Y≥t})dμ(t)，其中 μ 是 Y 的分布，来定义总体水平的依赖度量。
• 建立一致性：当 n→∞ 时，ξₙ(X,Y) 几乎必然收敛至 ξ(X,Y)，且 ξ(X,Y)=0 当且仅当 X⊥Y，ξ(X,Y)=1 当且仅当 Y=f(X) 几乎必然成立。
• 通过取 max(ξₙ(X,Y), ξₙ(Y,X)) 构造对称版本，以提升解释性。
• 通过 ξₙ(Z,Y|X) := (ξₙ(W,Y) - ξₙ(X,Y)) / (1 - ξₙ(X,Y)) 实现条件依赖的推广，其中 W=(X,Z)。
• 利用 Borel 同构将该系数推广至取值于标准 Borel 空间的随机变量。

实验结果

研究问题

• RQ1 能否构造一种非参数相关系数，使其一致地估计依赖度量并检测非单调关系？
• RQ2 所提出的系数 ξₙ(X,Y) 是否几乎必然收敛至一个极限 ξ(X,Y)，且该极限在独立时为 0，在一个变量几乎必然为另一个变量的可测函数时为 1？
• RQ3 该系数能否推广至多变量及抽象概率空间中的条件依赖？
• RQ4 广义系数 ξₙ(Z,Y|X) 是否具有一致性且可解释为条件依赖的度量？
• RQ5 该方法能否高效实现，并用于真实数据中独立性假设的假设检验？

主要发现

• 系数 ξₙ(X,Y) 几乎必然收敛至 ξ(X,Y) ∈ [0,1]，且 ξ(X,Y)=0 当且仅当 X 与 Y 独立，ξ(X,Y)=1 当且仅当 Y=f(X) 几乎必然成立。
• 当 n=100 时，检验 X 与 Y 独立性的平均 P 值为 0.001，而对独立变量 u 与 Y 的检验平均 P 值为 0.491，表明具有强大的依赖检测能力。
• 当 n=1000 时，X 与 Y 的平均 P 值为 0.000，而 u 与 Y 的平均 P 值仍为 0.495，表明在大样本下仍具稳健的检测能力。
• 广义系数 ξₙ(Z,Y|X) 几乎必然收敛至极限 ξ(Z,Y|X) ∈ [0,1]，且该极限为 0 当且仅当 Y⊥Z|X，为 1 当且仅当在给定 X 条件下 Y 几乎必然为 Z 的可测函数。
• R 包 XICOR 已在 CRAN 上发布，可用于计算 ξₙ、独立性检验的 P 值以及广义系数。
• FOCI 和 KFOCI 算法已通过 R 包实现，用于条件依赖估计与变量选择。