[논문 리뷰] Interpreting the Curse of Dimensionality from Distance Concentration and Manifold Effect

Dehua Peng, Zhipeng Gui외 1명|arXiv (Cornell University)|2023. 12. 31.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 차원의 저주를 두 핵심 메커니즘인 거리 농축과 다양체 효과를 통해 해석한다. 이론적 및 실험적 분석을 통해 일반적인 거리 측도(Minkowski, Chebyshev, 코사인)가 고차원에서 분류 능력을 상실하여 최근접 이웃 검색이 비효율적이 되며, 데이터의 부여와 주성분 분석에서 분산의 왜곡이 회귀, 분류, 군집 분석 작업의 성능을 추가로 악화시킨다.

ABSTRACT

The characteristics of data like distribution and heterogeneity, become more complex and counterintuitive as dimensionality increases. This phenomenon is known as curse of dimensionality, where common patterns and relationships (e.g., internal pattern and boundary pattern) that hold in low-dimensional space may be invalid in higher-dimensional space. It leads to a decreasing performance for the regression, classification, or clustering models or algorithms. Curse of dimensionality can be attributed to many causes. In this paper, we first summarize the potential challenges associated with manipulating high-dimensional data, and explains the possible causes for the failure of regression, classification, or clustering tasks. Subsequently, we delve into two major causes of the curse of dimensionality, distance concentration, and manifold effect, by performing theoretical and empirical analyses. The results demonstrate that, as the dimensionality increases, nearest neighbor search (NNS) using three classical distance measurements, Minkowski distance, Chebyshev distance, and cosine distance, becomes meaningless. Meanwhile, the data incorporates more redundant features, and the variance contribution of principal component analysis (PCA) is skewed towards a few dimensions.

연구 동기 및 목표

• 고차원 데이터에서 기계학습 성능이 열등해지는 근본 원인을 규명하고 분석하는 것.
• 거리 농축이 표준 거리 측도 전반에 걸쳐 최근접 이웃 검색의 타당성을 어떻게 약화시키는지 조사하는 것.
• 고차원에서 데이터 구조와 특징의 중요성에 영향을 미치는 다양체 효과의 역할을 분석하는 것.
• 고차원 데이터에서 주성분 분석의 분산 왜곡과 증가하는 특징의 중복성에 대해 설명하는 것.
• 고차원성에 의한 고전적 기계학습 알고리즘 실패를 이해하기 위한 통합된 이론적 및 실험적 프레임워크를 제공하는 것.

제안 방법

• Minkowski, Chebyshev, 코사인 거리에 대해 증가하는 차원에서의 거리 분포에 대한 이론적 분석.
• 다양한 차원에서 합성 및 실세계 데이터를 사용하여 거리 농축을 실험적으로 평가.
• 데이터 다양체 구조 분석을 통해 내재 차원이 거리 측도에 미치는 영향 평가.
• 주성분 분석에서 성분 간 분산 분포를 조사하여 특징의 중복성과 차원의 왜곡 정도를 정량화.
• 차원이 증가함에 따라 다양한 거리 측도 간 최근접 이웃 검색 성능 비교.
• 통계적 및 기하학적 도구를 사용하여 고차원 공간에서 쌍별 거리의 수렴을 모델링.

실험 결과

연구 질문

• RQ1 거리 농축이 고차원 공간에서 일반적인 거리 측도의 분류 능력에 어떤 영향을 미치는가?
• RQ2 다양체 효과가 고차원 데이터의 기하학적 구조를 어느 정도 왜곡하는가?
• RQ3 왜 차원이 증가함에 따라 최근접 이웃 검색이 의미가 없어지는가?
• RQ4 주성분 분석의 분산이 증가하는 차원에 따라 어떻게 이동하는가? 이는 특징 선택에 어떤 의미를 갖는가?
• RQ5 거리 농축과 다양체 구조의 병합된 영향이 기계학습 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 거리 농축으로 인해 고차원 공간에서 쌍별 거리가 수렴하게 되어 Minkowski, Chebyshev, 코사인 거리 전반에 걸쳐 최근접 이웃 검색이 비효율적이 된다.
• 차원이 증가함에 따라 가장 가까운 이웃과 가장 먼 이웃 간의 상대적 차이가 감소하여 거리 기반 알고리즘의 유용성이 떨어진다.
• 고차원 공간에서 데이터는 중복성이 증가하며, 주성분 분석 결과 대부분의 분산을 소수의 성분이 차지함을 보여준다.
• 다양체 효과는 고전적 거리 기반 학습 알고리즘의 가정을 위반하는 복잡하고 비균일한 데이터 분포를 초래한다.
• 실험 결과는 이러한 병합된 영향으로 인해 분류, 회귀, 군집 분석 성능이 크게 열등해짐을 확인한다.
• 이론적 분석 결과, 표준 분포 하에서 차원이 증가함에 따라 거리의 농축은 사용하는 거리 측도에 관계없이 피할 수 없다.