[논문 리뷰] Local intrinsic dimensionality estimators based on concentration of measure

Jonathan Bac, Andreï Zinovyev|arXiv (Cornell University)|2020. 01. 31.

Neural Networks and Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 고차원 데이터에서 선형 분리 가능성과 측도 집중 현상에 기반한 두 가지 새로운 局부 내재 차원성(이하 ID) 추정기들을 소개한다. 초구 위의 균일한 기준 분포와 비교하여 데이터 포인트의 분리 가능성에 기반해, 다양한 데이터셋에서 안정적이고 정확한 ID 추정을 제공하며, FisherS와 ESS는 특히 100개 이상의 이웃을 가진 경우에서 합성 및 실세계 데이터 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Intrinsic dimensionality (ID) is one of the most fundamental characteristics of multi-dimensional data point clouds. Knowing ID is crucial to choose the appropriate machine learning approach as well as to understand its behavior and validate it. ID can be computed globally for the whole data point distribution, or computed locally in different regions of the data space. In this paper, we introduce new local estimators of ID based on linear separability of multi-dimensional data point clouds, which is one of the manifestations of concentration of measure. We empirically study the properties of these estimators and compare them with other recently introduced ID estimators exploiting various effects of measure concentration. Observed differences between estimators can be used to anticipate their behaviour in practical applications.

연구 동기 및 목표

• 고차원 데이터에서 더 높은 정확도를 확보하기 위해 측도 집중 현상에 기반한 새로운 국부적 내재 차원성(ID) 추정기를 개발하는 것.
• 기존의 전반적 및 국부적 ID 추정기의 한계, 즉 고차원에서의 과대추정(PCA 기반) 또는 과소추정(MLE, TwoNN) 문제를 해결하는 것.
• 표본 추출 및 이웃 수가 변할 때 국부적 ID 추정기의 안정성, 정확성 및 강인성을 평가하는 것.
• 다양한 합성 및 실세계 데이터셋에서 제안된 측도 집중 기반 추정기들(예: FisherS 및 ESS)과 기존 방법들(DANCo, TwoNN, TLE)의 성능을 비교하는 것.
• 전반적 포인트와 포인트 기반 ID 추정(예: FisherS에서의 결과)이 국부적 및 전반적 데이터 구조를 모두 포괄할 수 있음을 보여주는 것, 이는 상호보완적인 통찰을 제공한다.

제안 방법

• k-최근접 이웃과의 선형 분리 가능성 확률을 기반으로 한 국부적 ID 추정기를 제안하며, 이를 n차원 초구 위의 균일한 기준 분포와 비교한다.
• 기하학적 복잡성의 척도로 피셔의 선형 판별 분리 가능성(Linear Discriminant Separability)을 사용하며, 높은 분리 가능성은 낮은 내재 차원성과 상관관계가 있음을 고려한다.
• 초구 위 균일 샘플링 하에서 분리 가능성의 기준 분포를 유도하여 데이터에서 관측된 분리 가능성의 캘리브레이션을 수행한다.
• 관측된 분리 가능성과 기준 분포를 통계적 검정을 통해 비교하여 국부적 ID를 추정하며, 측도 집중 현상이 고차원에서 분리 가능성 감소를 유도한다는 가정을 적용한다.
• 이를 전반적 포인트와 포인트 기반 변형으로 확장하여, 각 점이 국부적 이웃이 아닌 전체 데이터셋으로부터 분리 가능성 여부를 평가한다.
• 표본(예: 구, 초입방체, 스위스롤), 실세계 데이터셋(예: MNIST, ISOMAP Faces)을 대상으로 다양한 표본 크기로 벤치마킹하여 안정성과 정확성 평가.

실험 결과

연구 질문

• RQ1 선형 분리 가능성과 측도 집중 현상에 기반한 국부적 ID 추정기는 다양한 합성 및 실세계 데이터셋에서 얼마나 잘 성능을 발휘하는가?
• RQ2 이웃 수와 표본 크기가 이러한 추정기의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ3 제안된 추정기(FisherS 및 ESS)는 DANCo, TwoNN, TLE와 비교해 일관성과 강인성 면에서 어떻게 다른가?
• RQ4 전체 데이터셋으로부터의 분리 가능성 기반 전반적 포인트와 포인트 기반 ID 추정은 국부적 k-NN 추정과 어떤 상호보완적 통찰을 제공하는가?
• RQ5 추정기 행동의 차이가 비트리비어한 클러스터링 또는 다양체 구조를 가진 데이터의 기하학적 구조를 반영하는가?

주요 결과

• 피셔 분리 가능성 기반으로 제안된 FisherS 추정기는 특히 100개 이상의 이웃을 가진 경우 안정적이고 정확한 국부적 ID 추정을 제공한다.
• FisherS와 ESS는 다양한 데이터셋에서 높은 일치를 보이며, ESS는 고차원 구 내 균일 분포에서 더 우수한 성능을 보이고, FisherS는 ISOMAP Faces와 같은 실세계 데이터셋에서 더 정확한 추정을 제공한다.
• TwoNN와 TLE는 고차원 환경에서 특히 균일 분포나 스위스롤과 같은 복잡한 다양체에서 ID를 심각하게 과소추정한다.
• DANCo와 TwoNN는 스위스롤의 전반적 ID 추정에서는 잘 작동하지만, 국부적 추정은 표본 크기에 매우 민감하여 작은 표본에서 안정성이 떨어진다.
• FisherS의 전반적 포인트와 포인트 기반 변형은 국소적 및 전반적 데이터 구조를 모두 포착하여 순수 국소적 추정기보다 더 포괄적인 데이터 기하학적 시각을 제공한다.
• 본 연구는 측도 집중 기반 추정기(제안된 것 포함)가 비교적 작은 표본에서도 3에서 수십의 범위 내에서 ID 추정에 매우 적합하다는 것을 확인한다.