[논문 리뷰] Distribution of Euclidean Distances Between Randomly Distributed Gaussian Points in n-Space

Benjamin Thirey, Randal Hickman|arXiv (Cornell University)|2015. 08. 10.

Data Management and Algorithms참고 문헌 8인용 수 9

한 줄 요약

이 논문은 k차원 공간에서 표준 정규분포에서 독립적으로 추출된 두 점 간 유클리드 거리의 정확한 확률분포를 유도한다. 좌표변환과 카이분포의 성질을 활용하여 거리분포의 원점 및 중심모멘트에 대한 닫힌 형태의 표현식을 제공하며, 차원 수가 증가함에 따라 거리의 변동성과 비대칭도가 어떻게 변화하는지 밝혀내어, 고차원 데이터에서 최근접이웃 및 군집화 알고리즘의 신뢰성 평가에 핵심적인 역할을 한다.

ABSTRACT

The curse of dimensionality is a common phenomenon which affects analysis of datasets characterized by large numbers of variables associated with each point. Problematic scenarios of this type frequently arise in classification algorithms which are heavily dependent upon distances between points, such as nearest-neighbor and $k$-means clustering. Given that contributing variables follow Gaussian distributions, this research derives the probability distribution that describes the distances between randomly generated points in n-space. The theoretical results are extended to examine additional properties of the distribution as the dimension becomes arbitrarily large. With this distribution of distances between randomly generated points in arbitrarily large dimensions, one can then determine the significance of distance measurements between any collection of individual points.

연구 동기 및 목표

• k차원 공간에서 i.i.d. 표준 정규분포를 따르는 두 점 간 유클리드 거리의 확률분포를 유도하는 것.
• 차원 수 k가 증가함에 따라 거리분포가 어떻게 변화하는지, 특히 차원의 저주와의 관계에서 정량화하는 것.
• 거리분포의 원점 및 중심모멘트(최대 4차까지)에 대한 닫힌 형태의 표현식을 제공하여 통계적 추론에 활용하는 것.
• 무작위성 하에서의 기초 거리 행동을 모델링하여 고차원 데이터셋에서의 허위 상관관계 평가를 지원하는 것.
• 특히 k-NN 및 k-means 군집화에서 거리 기반 분류의 유의미성을 평가하기 위한 이론적 기반을 제공하는 것.

제안 방법

• 두 개의 k변량 표준 정규벡터의 결합분포를 좌표변환을 통해 원형 거리분포로 변환하는 방법.
• |p - q| ≤ r 인 영역에서의 적분을 통해 거리의 누적분포함수(CDF)를 유도하는 방법.
• CDF를 미분하여 거리 R의 확률밀도함수(PDF)를 도출하며, 이는 감마함수를 포함한 닫힌 형태의 표현식을 얻는다.
• n ≥ 0 인 경우에 대해 E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2) 공식을 사용해 R의 n차 원모멘트를 계산하는 방법.
• R, μ 및 유도된 PDF를 포함한 적분을 사용해 제2, 제3, 제4중심모멘트를 명시적으로 계산하는 방법.
• 중심모멘트를 사용해 비대칭도 및 첨도를 유도하여 고차원에서의 거리분포 형태를 특성화하는 방법.

실험 결과

연구 질문

• RQ1 k차원 공간에서 i.i.d. 표준 정규분포를 따르는 두 점 간 유클리드 거리의 정확한 확률분포는 무엇인가?
• RQ2 차원 수 k가 증가함에 따라 거리분포의 평균, 분산, 비대칭도, 첨도는 어떻게 변화하는가?
• RQ3 고차원 데이터에서 관련이 없는 정규분포 특성들이 거리 기반 유사도 측정치에 얼마나 심각하게 왜곡을 초래하는가?
• RQ4 유도된 분포를 사용하여 고차원 데이터셋에서 의미 있는 최근접이웃과 순수한 랜덤 노이즈에 의해 발생하는 이웃을 구분할 수 있는가?
• RQ5 k → ∞ 일 때의 거리분포 이론적 행동은 어떠한가? 이는 접근 기반 학습 알고리즘의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 두 k변량 표준 정규분포 점 간 거리 R의 n차 원모멘트는 E[R^n] = 2^{1-k} Γ((k+n)/2) / Γ(k/2) 로 주어지며, 모든 n ≥ 0 에 대해 닫힌 형태의 표현식을 제공한다.
• R의 제2중심모멘트(분산)는 μ₂ = 2k − 4Γ((k+1)/2)² / Γ(k/2)² 로 주어지며, 이는 차원 증가에 따라 분산이 증가함을 보여준다.
• 제3중심모멘트 μ₃ 는 [16Γ((k+1)/2)³ + 4(1−2k)Γ(k/2)²Γ((k+1)/2)] / Γ(k/2)³ 으로 표현되며, 비대칭도가 비영임을 나타내고 k에 따라 변화함을 보여준다.
• 제4중심모멘트 μ₄ 는 4k(k+2) + [π·4^{3−k}(k−2)Γ(k)² − 48Γ((k+1)/2)⁴] / Γ(k/2)⁴ 로 도출되어 첨도 계산이 가능하다.
• 비대칭도 γ₁ 과 첨도 β₂ 는 중심모멘트를 사용해 닫힌 형태로 유도되었으며, k가 증가함에 따라 분포가 점점 대칭적이고 첨도가 높아짐을 드러낸다.
• 결과적으로 고차원에서는 무작위 정규분포 점 간 거리가 평균값 주변에 매우 집중됨을 보여주며, 이는 최근접이웃 방법의 분류 능력을 약화시킨다.