[논문 리뷰] Manifold Learning with Geodesic Minimal Spanning Trees

Jose A. Costa, Alfred O. Hero|ArXiv.org|2003. 07. 16.

Morphological variations and asymmetry참고 문헌 30인용 수 24

한 줄 요약

이 논문은 다각형을 재구성하거나 밀도를 추정하지 않고도 데이터 다양체의 내재 차원과 Rényi α-엔트로피를 동시에 추정하기 위해 새로운 기하학적 확률 방법인 지오데식-최소 스패닝 트리(Geodesic-Minimal Spanning Tree, GMST)를 제안한다. 이 방법은 완전 그래프에서 기하학적 거리로 구성된 최소 스패닝 트리를 구축한 후, 재표본화된 데이터 크기에서 스패닝 트리 길이의 척도 행동을 선형 최소 제곱법과 모멘트 방법을 사용하여 내재 차원과 엔트로피를 추정한다. 이는 O(N log N) 복잡도를 가지며 일관된 추정을 달성한다.

ABSTRACT

In the manifold learning problem one seeks to discover a smooth low dimensional surface, i.e., a manifold embedded in a higher dimensional linear vector space, based on a set of measured sample points on the surface. In this paper we consider the closely related problem of estimating the manifold's intrinsic dimension and the intrinsic entropy of the sample points. Specifically, we view the sample points as realizations of an unknown multivariate density supported on an unknown smooth manifold. We present a novel geometrical probability approach, called the geodesic-minimal-spanning-tree (GMST), to obtaining asymptotically consistent estimates of the manifold dimension and the Rényi $α$-entropy of the sample density on the manifold. The GMST approach is striking in its simplicity and does not require reconstructing the manifold or estimating the multivariate density of the samples. The GMST method simply constructs a minimal spanning tree (MST) sequence using a geodesic edge matrix and uses the overall lengths of the MSTs to simultaneously estimate manifold dimension and entropy. We illustrate the GMST approach for dimension and entropy estimation of a human face dataset.

연구 동기 및 목표

• 독립 동일분포 표본점들로부터 매끄러운 다양체의 내재 차원과 Rényi α-엔트로피를 일관되고 전역적으로 추정할 수 있는 방법을 개발한다.
• 다양체 재구성 또는 다변량 밀도 추정이 필요 없도록 하여 계산 비용이 높고 노이즈에 민감한 문제를 피한다.
• 기존 국소 또는 전역 다양체 학습 기법에 대한 단순하고 파rameter-free 대안을 제공한다.
• 실제 데이터, 예를 들어 얼굴 영상 다양체와 같은 실제 데이터에서 방법의 일관성과 실용성을 입증한다.

제안 방법

• ISOMAP 또는 C-ISOMAP를 통해 전역 기하학적 거리 행렬을 이용해 모든 표본점 간에 완전한 기하학적 거리 그래프를 구축한다.
• 완전 그래프를 최소 총 기하학적 길이로 모든 점을 연결하도록 간소화하여 지오데식-최소 스패닝 트리(GMST)를 계산한다.
• 증가하는 크기 n을 가진 데이터를 여러 번 재표본하여 평균 GMST 길이의 시퀀스를 생성한다.
• 대규모 n에 대해 평균 GMST 길이와 n 사이의 로그-로그 관계를 선형 모델로 모델링하고, 기울기와 절편을 사용하여 내재 차원과 Rényi α-엔트로피를 추정한다.
• 선형 최소 제곱법을 적용하여 로그-로그 모델을 피팅하고, 모멘트 방법을 사용하여 내재 차원 m과 엔트로피 H를 추정하며, 큰 m에 대해 βm을 근사한다.
• 기하학적 거리 행렬의 간선 지수 γ = 1을 고정하여 일관된 척도 행동을 보장한다.

실험 결과

연구 질문

• RQ1 독립 동일분포 표본들로부터 내재 차원과 내재 엔트로피를 동시에 추정할 수 있는 전역적이고 파rameter-free 방법이 존재하는가?
• RQ2 재표본화된 데이터 크기에서 지오데식 MST 길이의 척도 행동이 다양체의 차원과 Rényi α-엔트로피에 대해 일관된 추정자로 기능하는가?
• RQ3 기존 방법들인 ISOMAP나 국소 방법들과 비교해 GMST 방법의 정확도와 계산 복잡도는 어떠한가?
• RQ4 로그(GMST 길이) 대 로그(n)의 선형 척도 행동은 渐近적으로 타당한가? 그리고 얼굴 영상과 같은 실세계 데이터에도 성립하는가?

주요 결과

• 예일 얼굴 데이터베이스 B의 세 명의 개인에 대해 GMST 방법은 내재 차원 m를 각각 5에서 6 사이로 추정하였으며, 값은 각각 6, 5, 6이었다.
• 내재 Rényi α-엔트로피(밑이 2인 로그)는 각각 70.4, 68.8, 73.8 비트로 추정되었으며, 이는 각 얼굴 다양체가 약 6개의 파rameter로 모델링될 수 있음을 시사한다.
• GMST 길이 대 n의 로그-로그 플롯에서 n ≥ 500일 때 명확한 선형성이 나타나 이론적 渐近 모델을 지지하고 선형 최소 제곱 피팅의 타당성을 입증하였다.
• 이 방법은 O(N log N)의 계산 복잡도를 달성하여 MDS 기반 ISOMAP의 O(N³) 복잡도보다 크게 낮았다.
• 추정된 엔트로피 값들은 얼굴 다양체가 매우 압축 가능하며, 정보가 저차원적 구조에 집중되어 있음을 시사한다.
• 결과는 이론적 프레임워크와 일치하였으며, 밀도 추정이나 다양체 재구성 없이도 동시에 내재 차원과 엔트로피를 추정할 수 있음을 입증하였다.