[论文解读] Measures of dependence between random vectors and tests of independence. Literature review

Julie Josse, Susan Holmes|arXiv (Cornell University)|Jul 28, 2013

Sensory Analysis and Statistical Methods参考文献 62被引用 16

一句话总结

本文综述并统一了随机向量之间依赖性度量的方法，重点关注RV系数、距离协方差（dCov）以及基于核的方法。它揭示了这些方法之间的联系，强调了不同学科领域中反复发现相似方法的现象，并主张同时使用RV和dCov系数——包括去偏版本及图形化后续分析——以检测和解释异质性多表数据中的线性和非线性关联。

ABSTRACT

Simple correlation coefficients between two variables have been generalized to measure association between two matrices in many ways. Coefficients such as the RV coefficient, the distance covariance (dCov) coefficient and kernel based coefficients have been adopted by different research communities. Scientists use these coefficients to test whether two random vectors are linked. If they are, it is important to uncover what patterns exist in these associations. We discuss the topic of measures of dependence between random vectors and tests of independence and show links between different approaches. We document some of the interesting rediscoveries and lack of interconnection between bodies of literature. After providing definitions of the coefficients and associated tests, we present the recent improvements that enhance their statistical properties and ease of interpretation. We summarize multi-table approaches and provide scenarii where the indices can provide useful summaries of heterogeneous multi-block data. We illustrate these different strategies on several examples of real data and suggest directions for future research.

研究动机与目标

• 整合并比较现有的随机向量之间依赖性度量，特别是RV系数、dCov和基于核的方法。
• 解决生态学、基因组学和机器学习等不同科学领域之间缺乏方法互联、频繁重复发现类似方法的问题。
• 通过去偏和置换检验，提升依赖性系数的可解释性和统计特性。
• 展示将系数分析与图形化方法结合使用，以探索复杂且异质的多区块数据的效用。
• 提出未来研究方向，包括将线性多区块方法（如STATIS和MFA）扩展至包含dCov等非线性依赖性度量。

提出的方法

• 综述并定义三类主要的依赖性系数：基于组间与组内离差平方和的RV系数，基于特征核与能量统计的dCov，以及HSIC等基于核的度量。
• 应用置换检验评估依赖性系数的显著性，尤其针对dCov和RV，确保在非正态分布下的稳健性。
• 提出RV（RV*）和dCov（dCor*）的去偏版本，以校正小样本中正向偏差。
• 利用真实世界数据集——肿瘤基因表达与CGH数据，以及多光谱啤酒数据——展示系数性能与解释方法。
• 采用图形化可视化技术，在检测到显著依赖性后，探索关联的性质。
• 比较不同数据类型（连续型、分类变量、混合型）及预处理选择（如标准化、距离或核函数选择）下系数的表现。

实验结果

研究问题

• RQ1 在检测随机向量之间的关联时，不同依赖性度量（RV、dCov和基于核的方法）表现如何比较？
• RQ2 为何不同科学领域独立发展并采用相似的依赖性度量，导致反复发现且缺乏跨学科交流？
• RQ3 RV和dCov的去偏版本在小样本中在多大程度上提升了依赖性检验的可靠性与可解释性？
• RQ4 图形化方法与后续分析在显著依赖性结果的解释中，如何超越p值提供更深入的理解？
• RQ5 选择不同的距离或核函数会产生何种影响？它们如何影响线性与非线性关联的检测？

主要发现

• dCov系数对所有依赖性替代假设均具一致性，使其成为独立性检验的强大通用工具。
• RV系数在检测线性关系方面表现最优，但可通过变量变换扩展以捕捉部分非线性模式。
• 在啤酒光谱数据集中，拉曼光谱表现出高重复性（RV* = 0.977），而NIR和MIR则稳定性较低（RV* 分别为 0.297 和 0.595）。
• 不同光谱方法之间的相似性较低（例如，NIR与MIR之间的RV* = 0.03），表明各技术提供互补信息。
• 去偏版本（RV* 和 dCor*）可降低样本估计中的正向偏差，提升小样本条件下的可靠性。
• 连续变量与分类变量之间的RV系数与皮尔逊相关比率平方和（η²）相关；两组分类变量之间的RV系数与Φ²统计量之和相关，从而将其与对应分析框架联系起来。