[论文解读] Measures of Correlation for Multiple Variables

Jianji Wang, Nanning Zheng|arXiv (Cornell University)|Jan 20, 2014

Advanced Statistical Methods and Models参考文献 21被引用 14

一句话总结

本文引入了无符号相关系数（UCC）和无符号不相关系数（UIC），作为多变量相关性和多个变量之间线性无关性的通用度量。UCC 使用多维空间中标准化向量之间最小夹角的余弦值来量化线性依赖强度，而UIC则度量这些向量所构成的平行多面体的体积；两者均在 [0,1] 范围内取值，当线性依赖时UCC达到1，当正交时达到0。

ABSTRACT

Multivariate correlation analysis plays an important role in various fields such as statistics, economics, and big data analytics. In this paper, we propose a pair of measures, the unsigned correlation coefficient (UCC) and the unsigned incorrelation coefficient (UIC), to measure the strength of correlation and incorrelation (lack of correlation) among multiple variables. The absolute value of Pearson's correlation coefficient is a special case of UCC for two variables. Some important properties of UCC and UIC show that the proposed UCC and UIC are a pair of effective measures for multivariate correlation. We also take the unsigned tri-variate correlation coefficient as an example to visually display the effectiveness of the proposed UCC, and the geometrical explanation of UIC is also discussed. All the properties and the figures of UCC and UIC show that the proposed UCC and UIC are the general measures of correlation for multiple variables.

研究动机与目标

• 为高维数据分析中多变量相关性的紧凑、直接度量提供解决方案。
• 将皮尔逊相关系数推广至多变量情形，超越双变量情况。
• 为多变量系统中的相关性强度与线性独立性提供具有几何可解释性的度量。
• 基于向量几何与格拉姆行列式，建立多变量数据中相关性与不相关性的正式框架。
• 通过相关性强度的几何与三维可视化，直观验证所提度量的有效性。

提出的方法

• 将无符号相关系数（UCC）定义为 1 减去标准化向量所构成平行多面体体积的平方后的平方根。
• 将无符号不相关系数（UIC）表述为多个变量的标准化向量所张成的平行多面体的体积。
• 利用相关矩阵的行列式作为UIC的平方，将其与格拉姆几何联系起来。
• 应用几何推理：当变量数量等于维度时，UIC等于标准化向量矩阵行列式的绝对值。
• 通过三维曲面与曲线对UCC进行可视化，针对角度η（向量c与其在ab平面上投影之间的夹角），显示其与几何相关强度高度一致。
• 推导关键恒等式，如 $ r_{abc} = \sqrt{1 - \sin^2\alpha \sin^2\eta} $，将UCC与三维空间中的空间夹角关联。

实验结果

研究问题

• RQ1 如何直接度量多个变量之间线性相关性的强度，而非依赖于偏相关等间接方法？
• RQ2 多变量相关性在向量空间与平行多面体中的几何解释是什么？
• RQ3 能否通过单一标量度量将皮尔逊相关系数推广至多于两个变量的情形，同时保持有界性与单调性等关键性质？
• RQ4 UCC与多变量空间中某一变量与其余变量所张成平面之间的夹角有何关系？
• RQ5 相关矩阵的行列式与多变量不相关度量之间存在何种关系？

主要发现

• UCC与UIC均在 [0,1] 范围内取值，当UCC = 1 时表示完全线性依赖，当UCC = 0 时表示变量之间正交。
• 对于一组变量，其UCC的平方与UIC的平方之和恒等于1，确立了二者互补的关系。
• UIC等于由变量标准化向量所构成的平行多面体的体积，提供了明确的几何解释。
• 当有m个变量且维度也为m时，UIC等于其标准化向量矩阵行列式的绝对值。
• 三变量的UCC表达式为 $ r_{abc} = \sqrt{1 - \sin^2\alpha \sin^2\eta} $，其中α为两个固定向量之间的夹角，η为第三个向量与其前两个向量所张平面之间的夹角。
• 图5的可视化结果表明，UCC曲线与由角度η测得的几何相关强度高度吻合，证实了其作为多变量相关性度量的有效性。