[论文解读] Distribution of Euclidean Distances Between Randomly Distributed Gaussian Points in n-Space

Benjamin Thirey, Randal Hickman|arXiv (Cornell University)|Aug 10, 2015

Data Management and Algorithms参考文献 8被引用 9

一句话总结

本文推导了从k维空间中独立抽取的两个标准正态分布点之间欧氏距离的精确概率分布。通过变量变换和卡方分布的性质，推导出距离分布的原始矩和中心矩的闭式表达式，揭示了随着维度增加，距离的变异性与偏度如何演变——这对评估高维数据中最近邻和聚类算法的可靠性至关重要。

ABSTRACT

The curse of dimensionality is a common phenomenon which affects analysis of datasets characterized by large numbers of variables associated with each point. Problematic scenarios of this type frequently arise in classification algorithms which are heavily dependent upon distances between points, such as nearest-neighbor and $k$-means clustering. Given that contributing variables follow Gaussian distributions, this research derives the probability distribution that describes the distances between randomly generated points in n-space. The theoretical results are extended to examine additional properties of the distribution as the dimension becomes arbitrarily large. With this distribution of distances between randomly generated points in arbitrarily large dimensions, one can then determine the significance of distance measurements between any collection of individual points.

研究动机与目标

• 推导两个k维空间中独立同分布的标准正态点之间欧氏距离的概率分布。
• 量化距离分布随维度k增加而变化的规律，特别是与维度灾难的关系。
• 为距离分布的原始矩和中心矩（最高至四阶）提供闭式表达式，以支持统计推断。
• 通过建模随机性下的基线距离行为，支持对高维数据集中虚假关联的评估。
• 为评估机器学习中基于距离的分类方法（尤其是k-NN和k-means聚类）的显著性提供理论基础。

提出的方法

• 通过坐标变换，将两个k元标准正态向量的联合分布转化为径向距离分布。
• 通过在满足|p - q| ≤ r的区域上积分，推导出距离的累积分布函数（CDF）。
• 通过对CDF求导，获得距离R的概率密度函数（PDF），得到包含伽马函数的闭式表达式。
• 使用公式E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2)（n ≥ 0）计算R的n阶原始矩。
• 通过涉及R、μ和推导出的PDF的积分，显式计算二阶、三阶和四阶中心矩。
• 利用中心矩推导偏度和峰度的表达式，从而表征高维空间中距离分布的形状。

实验结果

研究问题

• RQ1 两个k维空间中独立同分布的标准正态点之间欧氏距离的精确概率分布是什么？
• RQ2 随着维度数k的增加，距离分布的均值、方差、偏度和峰度如何变化？
• RQ3 在高维数据中，包含无关的正态分布特征在多大程度上会扭曲基于距离的相似性度量？
• RQ4 所推导的分布能否用于区分高维数据集中由随机噪声产生的最近邻与具有实际意义的最近邻？
• RQ5 当k → ∞时，距离分布的理论行为如何？这对基于邻近性的学习算法的可靠性有何影响？

主要发现

• 两个k元标准正态点之间距离R的n阶原始矩为E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2)，为所有n ≥ 0提供了闭式表达式。
• R的二阶中心矩（方差）为μ₂ = 2k − 4Γ((k+1)/2)² / Γ(k/2)²，表明方差随维度增加而增大。
• 三阶中心矩μ₃的表达式为[16Γ((k+1)/2)³ + 4(1−2k)Γ(k/2)²Γ((k+1)/2)] / Γ(k/2)³，表明其偏度非零且随k变化。
• 四阶中心矩μ₄的表达式为4k(k+2) + [π·4^{3−k}(k−2)Γ(k)² − 48Γ((k+1)/2)⁴] / Γ(k/2)⁴，支持峰度的计算。
• 偏度γ₁和峰度β₂通过中心矩以闭式表达，揭示了随着k增加，分布趋于更对称且尖峰厚尾。
• 结果表明，在高维空间中，随机高斯点之间的距离高度集中于某一均值附近，从而削弱了最近邻方法的判别能力。