[論文レビュー] Distribution of Euclidean Distances Between Randomly Distributed Gaussian Points in n-Space

Benjamin Thirey, Randal Hickman|arXiv (Cornell University)|Aug 10, 2015

Data Management and Algorithms参考文献 8被引用数 9

ひとこと要約

この論文は、k次元空間における標準正規分布から独立に抽出された2点間のユークリッド距離の正確な確率分布を導出する。変数変換とカイ分布の性質を用いて、距離分布の原点モーメントおよび中心モーメントの閉形式表現を提供し、次元数の増加に伴う距離のばらつきと歪度の変化を明らかにする。これは、高次元データにおける最近傍探索やクラスタリング手法の信頼性を評価する上で重要である。

ABSTRACT

The curse of dimensionality is a common phenomenon which affects analysis of datasets characterized by large numbers of variables associated with each point. Problematic scenarios of this type frequently arise in classification algorithms which are heavily dependent upon distances between points, such as nearest-neighbor and $k$-means clustering. Given that contributing variables follow Gaussian distributions, this research derives the probability distribution that describes the distances between randomly generated points in n-space. The theoretical results are extended to examine additional properties of the distribution as the dimension becomes arbitrarily large. With this distribution of distances between randomly generated points in arbitrarily large dimensions, one can then determine the significance of distance measurements between any collection of individual points.

研究の動機と目的

• k次元空間における独立同一に分布する標準正規分布に従う2点間のユークリッド距離の確率分布を導出すること。
• 次元数kの増加に伴い距離分布がどのように変化するかを特定すること、特に次元の呪いと関連して。
• 距離分布の原点モーメントおよび中心モーメント（最高4次のモーメントまで）の閉形式表現を提供し、統計的推論に活用すること。
• ランダム性の下での距離の基本的挙動をモデル化することで、高次元データセットにおける誤った相関関係の評価を支援すること。
• 特にk-NNおよびk-平均法クラスタリングにおいて、距離に基づく分類の有意性を理論的に評価する基盤を提供すること。

提案手法

• 2つのk次元標準正規分布に従うベクトルの連合分布を、座標変換により径方向距離分布に変換する。
• |p - q| ≤ r となる領域における統合により、距離の累積分布関数（CDF）を導出する。
• CDFの微分により距離Rの確率密度関数（PDF）を導出し、ガンマ関数を含む閉形式表現を得る。
• n ≥ 0 に対して E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2) を用いて、Rのn次の原点モーメントを計算する。
• R、μ、および導出されたPDFを含む積分を用いて、2次、3次、4次中心モーメントを明示的に計算する。
• 中心モーメントを用いて歪度および峰度の式を導出し、高次元における距離分布の形状を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 k次元空間における独立同一に分布する標準正規分布に従う2点間のユークリッド距離の正確な確率分布は何か？
• RQ2 次元数kの増加に伴い、距離分布の平均、分散、歪度、峰度はどのように変化するか？
• RQ3 無関係な正規分布に従う特徴量が、高次元データにおける距離ベースの類似度測度にどの程度歪められるか？
• RQ4 導出された分布を用いて、高次元データセットにおける意味のある最近傍点と、完全にランダムなノイズから生じる点を区別できるか？
• RQ5 k → ∞ のとき、距離分布の理論的挙動はどのようになるか？ これは近接性に基づく学習アルゴリズムの信頼性にどのように影響するか？

主な発見

• k次元標準正規分布に従う2点間の距離Rのn次の原点モーメントは、E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2) で与えられ、すべてのn ≥ 0 に対して閉形式表現が得られる。
• Rの2次中心モーメント（分散）は μ₂ = 2k − 4Γ((k+1)/2)² / Γ(k/2)² で与えられ、次元数の増加に伴い分散が増大することが示される。
• 3次中心モーメント μ₃ は [16Γ((k+1)/2)³ + 4(1−2k)Γ(k/2)²Γ((k+1)/2)] / Γ(k/2)³ で与えられ、kに応じて変化する非ゼロの歪度を示す。
• 4次中心モーメント μ₄ は 4k(k+2) + [π·4^{3−k}(k−2)Γ(k)² − 48Γ((k+1)/2)⁴] / Γ(k/2)⁴ として導出され、峰度の計算が可能になる。
• 歪度 γ₁ および峰度 β₂ は中心モーメントを用いて閉形式で導出され、kが増加するに従い分布がより対称的かつ尖った形状（leptokurtic）に近づくことが明らかになる。
• 結果として、高次元ではランダムなガウス分布点間の距離が平均値のまわりに極めて集中することが示され、最近傍法の識別力が著しく低下することが判明する。