[论文解读] A Correlation-Based Distance

Jean-Luc Falcone, Paul Albuquerque|ArXiv.org|Feb 27, 2004

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种在 R^D 上的基于相关性的距离度量，通过测量数据点标准化、中心化分量之间的差异性来衡量其不相似性，并将这些分量映射到超球面。该距离定义为 d(x,y) = sqrt(1 - [corr(x,y)]^2)，其等于 sin(α)，其中 α 是归一化向量之间的夹角；在球面约束下，通过协方差类矩阵的特征分解求得质心。

ABSTRACT

In this short technical report, we define on the sample space R^D a distance between data points which depends on their correlation. We also derive an expression for the center of mass of a set of points with respect to this distance.

研究动机与目标

• 定义 R^D 上一种反映数据点之间相关性结构的新距离度量。
• 解决标准欧几里得距离在捕捉高维数据中关系模式方面的局限性。
• 在超球面上基于此基于相关性的距离度量，推导一组点的质心。
• 确保该距离度量满足对称性和非负性等关键性质，尽管其在 R^D 上是退化的。
• 通过利用向量的方向等价性，在射影空间 P^D 上建立非退化度量。

提出的方法

• 将每个数据点 x ∈ R^D ∕ Diag 转换为其标准化、中心化形式 x* = (x - x̄)/σ_x，映射至超球面 S^D(√D)。
• 定义基于相关性的距离为 d(x,y) = √(1 - [corr(x,y)]^2) = √(1 - (x*·y*)²/D²)，其等于 sin(α)，即 x* 与 y* 之间夹角的正弦值。
• 使用拉格朗日乘数法，在 g 位于超球面 S^D(√D) 的约束下，最小化平均平方距离 F(g) = (1/N)Σ[d(g,x_j)]²。
• 推导出优化条件为 M g = λ g，其中 M 是由数据点外积构成的对称 D×D 矩阵。
• 通过求解 M 对应于最大特征值的特征向量，得到质心 g，并将其归一化至位于超球面上。
• 认识到该距离在 R^D 上是退化的，但由于向量的方向等价性，其在射影空间 P^D 上变为非退化。

实验结果

研究问题

• RQ1 如何在 R^D 上定义一种反映数据点之间相关性而非原始欧几里得差异性的距离度量？
• RQ2 所提出的基于相关性的距离度量具有哪些度量性质（对称性、非负性、三角不等式）？
• RQ3 如何在该新距离度量下计算一组点的质心？
• RQ4 在何种空间中，该距离变为非退化？原因是什么？
• RQ5 在该度量下，质心优化问题的几何与代数结构是什么？

主要发现

• 所提出的距离 d(x,y) = √(1 - [corr(x,y)]²) 满足对称性和非负性，且 d(x,y) = 0 当且仅当 x* = ±y*，表示完全相关。
• 该距离等价于 sin(α)，其中 α 是标准化向量 x* 与 y* 之间的夹角，确认了其几何解释。
• 由于正弦函数在角度相加下具有次可加性，三角不等式成立，可通过旋转至同一平面验证。
• 质心 g 作为矩阵 M = (1/(ND)) Σ_j x_j x_j^T 对应于最大特征值的特征向量求得，且归一化至位于超球面上。
• 该距离在 R^D ∕ Diag 上是退化的，因为 d(x,y) = 0 并不意味着 x = y，但在射影空间 P^D 上变为非退化。
• 质心的优化问题可简化为特征值问题，使得该方法在高维数据中计算上是可行的。