[논문 리뷰] How I learned to stop worrying and love the curse of dimensionality: an appraisal of cluster validation in high-dimensional spaces

Brian A. Powell|arXiv (Cornell University)|2022. 01. 13.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 고차원 데이터에서 거리 농축 현상에 의한 차원의 저주가 군집 검증 지표에 미치는 영향을 조사한다. 다양한 시뮬레이션 데이터셋을 대상으로 24개의 일반적인 유클리드 기반 검증 지표를 평가한 결과, 대부분의 지표가 차원이 증가함에 따라 진짜 군집 구조에 대한 민감도가 안정되거나 향상됨을 확인하였으며, 이는 고차원 환경에서도 군집 검증이 신뢰할 수 있음을 시사한다.

ABSTRACT

The failure of the Euclidean norm to reliably distinguish between nearby and distant points in high dimensional space is well-known. This phenomenon of distance concentration manifests in a variety of data distributions, with iid or correlated features, including centrally-distributed and clustered data. Unsupervised learning based on Euclidean nearest-neighbors and more general proximity-oriented data mining tasks like clustering, might therefore be adversely affected by distance concentration for high-dimensional applications. While considerable work has been done developing clustering algorithms with reliable high-dimensional performance, the problem of cluster validation--of determining the natural number of clusters in a dataset--has not been carefully examined in high-dimensional problems. In this work we investigate how the sensitivities of common Euclidean norm-based cluster validity indices scale with dimension for a variety of synthetic data schemes, including well-separated and noisy clusters, and find that the overwhelming majority of indices have improved or stable sensitivity in high dimensions. The curse of dimensionality is therefore dispelled for this class of fairly generic data schemes.

연구 동기 및 목표

• 고차원 공간에서의 거리 농축 현상이 일반적인 군집 검증 지표의 성능에 미치는 영향을 평가하는 것.
• 차원이 증가함에 따라 전통적인 유클리드 기반 검증 지표가 진짜 군집 구조에 대해 여전히 민감한지 여부를 판단하는 것.
• Davies-Bouldin, Silhouette, Xie-Beni와 같은 널리 사용되는 지표들이 고차원 조건에서 얼마나 견고한지 평가하는 것.
• 일반적인 데이터 분포에 대해 군집 검증이 차원의 저주로 인해 본질적으로 손상되지 않는다는 경험적 증거를 제공하는 것.

제안 방법

• 다양한 군집 간 간격과 노이즈 수준을 가진 여러 시뮬레이션 데이터 설계에서 24개의 유클리드 노름 기반 군집 타당성 지표를 평가한다.
• 시뮬레이션 데이터셋은 2차원부터 1000차원까지의 차원에서, 균일 분포, 정규 분포, 그리고 군집화된 데이터를 포함하며, 각각 20개와 50개의 군집을 가진다.
• 각 데이터셋과 차원에서 k-means를 사용하여 군집화를 수행하고, 다양한 k 값에 대해 검증 지표를 계산한다.
• 각 지표의 민감도는 진짜 군집 수(즉, 올바른 k에서 피크를 보이는)를 얼마나 잘 식별하는지로 측정되며, 이는 차원이 증가함에 따라 성능을 추적하여 평가한다.
• 주요 분석 대상 지표로는 Davies-Bouldin, Silhouette, Xie-Beni, Calinski-Harabasz, Wemmert-Gançarski 등이 포함된다.
• 통계 분석을 통해 다양한 차원에서 지표의 행동을 비교하며, 진짜 k의 피크 안정성과 탐지 가능성에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 거리 농축이 존재하는 고차원 공간에서 일반적인 군집 검증 지표는 어떻게 반응하는가?
• RQ2 유클리드 기반 지표는 고차원 데이터에서 진짜 군집 구조에 대한 민감도를 상실하는가?
• RQ3 차원이 100을 초과할 때도 안정적이거나 향상된 성능를 유지하는 검증 지표는 무엇인가?
• RQ4 노이즈 또는 군집 겹침이 고차원에서 검증 지표의 견고성에 영향을 미치는가?
• RQ5 차원의 저주는 일반적인 데이터 분포에서 고차원 공간에서의 신뢰할 수 있는 군집 검증을 근본적으로 방해하는 장벽인가?

주요 결과

• 군집 검증 지표 중 압도적인 다수—24개 중 20개—가 차원이 증가함에 따라 진짜 군집 수에 대한 민감도가 안정되거나 향상됨을 보였다.
• Silhouette, Xie-Beni, Calinski-Harabasz와 같은 지표들은 모든 테스트된 차원에서 뛰어난 성능를 유지하며, 피크 탐지가 일관되게 유지됨을 확인하였다.
• 거리 농축이 지표 성능를 균일하게 악화시키지 않으며, 오히려 다수의 지표가 내부 및 외부 군집 산란의 상대적 크기에 의존함으로써 견고함을 유지함을 보였다.
• 노이즈가 있거나 군집이 겹치는 구성에서도 대부분의 지표가 진짜 k에서 탐지 가능한 피크를 유지함으로써 고차원 노이즈에 대한 내성적 저항력을 보였다.
• 이 연구에서는 일반적인 데이터 분포, 특히 군집화된 특성과 상관된 특성들을 포함하여, 차원의 저주가 군집 검증을 본질적으로 손상시키지 않는다는 증거를 발견하지 못하였다.
• S_Dbw와 Wemmert-Gançarski 지표는 특히 뛰어난 안정성을 보였으며, 모든 테스트된 차원과 데이터 유형에서 일관된 성능를 유지하였다.