[논문 리뷰] Geometric structure of graph Laplacian embeddings

Nicolás García Trillos, Franca Hoffmann외 1명|arXiv (Cornell University)|2019. 01. 30.

Topological and Geometric Data Analysis참고 문헌 13인용 수 9

한 줄 요약

이 논문은 다양체 위의 잘 분리된 혼합 모델 하에서 그래프 라플라시안 임베딩이 저차원 공간에서 정규 직교 원뿔에 집중됨을 보이며, 이는 스펙트럴 클러스터링의 성공을 보장한다. 연속 근사와 최적 운반 이론을 사용하여, 연결성 스케일 ε 이 n과 함께 느리게 감소할 때, 높은 확률로 임bedded된 데이터 포인트들이 k-means 클러스터링에 적합한 구조를 이룬다는 것을 증명한다.

ABSTRACT

We analyze the spectral clustering procedure for identifying coarse structure in a data set $x_1, \dots, x_n$, and in particular study the geometry of graph Laplacian embeddings which form the basis for spectral clustering algorithms. More precisely, we assume that the data is sampled from a mixture model supported on a manifold $\mathcal{M}$ embedded in $\mathbb{R}^d$, and pick a connectivity length-scale $\varepsilon>0$ to construct a kernelized graph Laplacian. We introduce a notion of a well-separated mixture model which only depends on the model itself, and prove that when the model is well separated, with high probability the embedded data set concentrates on cones that are centered around orthogonal vectors. Our results are meaningful in the regime where $\varepsilon = \varepsilon(n)$ is allowed to decay to zero at a slow enough rate as the number of data points grows. This rate depends on the intrinsic dimension of the manifold on which the data is supported.

연구 동기 및 목표

• 비연결 다각체를 초월하여 스펙트럴 클러스터링에서 그래프 라플라시안 임베딩의 기하학적 구조를 이해하기 위해.
• 그래프 구축 파rameter에 의존하지 않고 데이터 분포에만 의존하는 '잘 분리된' 혼합 모델의 개념을 정식화하기 위해.
• 이러한 잘 분리된 모델 하에서 라플라시안 임베딩이 임베딩 공간에서 직교 원뿔 구조를 유도함을 보여주기 위해.
• 최적 운반 이론과 PDE 기법을 활용하여 연속 스펙트럴 기하학과 이산 그래프 라플라시안을 연결하기 위해.
• 임베딩된 데이터에서 k-means 클러스터링이 원래 데이터의 거시적 구조를 정확히 식별할 수 있는 조건을 설정하기 위해.

제안 방법

• 혼합 측도를 가진 다양체 위에서 라플라스-베르트라미 연산자를 사용하여 그래프 라플라시안 임베딩의 연속성 유사체를 도입한다.
• 커널 선택에 영향을 받지 않는 기하학적 및 스펙트럴 성질에 기반한 '잘 분리된' 혼합 모델을 정의한다.
• 최적 운반 이론과 워셔슈타인 거리 기반으로 이산 임베딩 측도와 그 연속 근사 간의 비교를 수행한다.
• 타원형 연산자의 스펙트럼 분석과 PDE 기법을 적용하여 연속 라플라시안의 낮은 고유함수를 특성화한다.
• 적절한 스케일링 하에서 그래프 라플라시안과 연속 라플라시안의 스펙트럼 간의 근사 오차 한계를 설정한다.
• 최근의 그래프 라플라시안 수렴 결과를 활용하여 이산 임베딩이 연속 근사로 연결됨을 증명하고, 직교 원뿔에의 집중을 입증한다.

실험 결과

연구 질문

• RQ1 다양체 위의 혼합 모델에서 샘플링된 데이터 세트의 그래프 라플라시안 임베딩이 어떤 조건에서 직교 원뿔 구조에 집중되는가?
• RQ2 ε나 커널 선택과 같은 그래프 구축 파rameter에 영향을 받지 않는 '잘 분리됨'의 개념을 어떻게 내재적으로 정의할 수 있는가?
• RQ3 이산 그래프 라플라시안의 스펙트럴 임베딩과 다양체 위의 연속 라플라시안 간의 관계는 무엇인가?
• RQ4 연결성 스케일 ε이 n이 증가함에 따라 얼마나 빠르게 감소할 수 있으며, 여전히 임베딩에서 직교 원뿔 구조를 유지할 수 있는가?
• RQ5 직교 원뿔 구조는 임베딩된 데이터에서의 k-means 클러스터링이 혼합 모델의 진정한 구성요소를 얼마나 잘 복원하는가에 영향을 미치는가?

주요 결과

• 혼합 모델이 잘 분리되어 있을 경우, 그래프 라플라시안 임베딩은 높은 확률로 직교 벡터를 중심으로 하는 직교 원뿔에 집중된다.
• 이산 및 연속 라플라시안 고유함수 간의 임베딩 오차는 다양체의 내재 차원 m에 대해 O( log(n)^{p_m} / n^{1/m} )로 감소한다.
• 이산 임베딩 하에서 데이터 측도의 투영과 연속 임베딩 간의 워셔슈타인 거리는 O( sqrt(φ) )로 유계이며, 여기서 φ는 스펙트럼 근사 오차를 측정한다.
• 직교 변환 하에서도 직교 원뿔 구조는 유지되어 임베딩 공간에서의 회전에 대해 강건함을 보장한다.
• ε(n)이 충분히 느리게 감소할 경우, 이산 임베딩 측도 F_{nlat}ν_n는 높은 확률로 직교 원뿔 구조를 가진다. 이는 다양체의 내재 차원에 따라 달라진다.
• 결과적으로 비트리비얼 기하학적 설정에서 스펙트럴 클러스터링의 타당성을 입증하며, 임베딩에서의 k-means 클러스터링이 원래 데이터의 진정한 거시적 구조를 성공적으로 복원함을 보여준다.