[논문 리뷰] Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 06. 03.

Face and Expression Recognition인용 수 7

한 줄 요약

이 튜토리얼 및 서베이는 스펙트럴 클러스터링, 라플라시안 이그지포즈, 국소성 유지 투영(LPP), 그래프 임bedding, 확산 맵을 포함한 라플라시안 기반 차원 축소 방법에 대한 종합적인 개요를 제시한다. 이러한 기법들이 그래프 라플라시안을 활용하여 국소적 구조와 비선형 다양체를 유지하는 방식을 설명하며, 라플라시안 행렬의 고유분해를 통해 기하학적 관계를 유지하면서도 낮은 차원의 공간으로 데이터를 임베딩하는 데 중점을 둔다.

ABSTRACT

This is a tutorial and survey paper for nonlinear dimensionality and feature extraction methods which are based on the Laplacian of graph of data. We first introduce adjacency matrix, definition of Laplacian matrix, and the interpretation of Laplacian. Then, we cover the cuts of graph and spectral clustering which applies clustering in a subspace of data. Different optimization variants of Laplacian eigenmap and its out-of-sample extension are explained. Thereafter, we introduce the locality preserving projection and its kernel variant as linear special cases of Laplacian eigenmap. Versions of graph embedding are then explained which are generalized versions of Laplacian eigenmap and locality preserving projection. Finally, diffusion map is introduced which is a method based on Laplacian of data and random walks on the data graph.

연구 동기 및 목표

• 라플라시안 기반 비선형 차원 축소 기법에 대한 통합적 튜토리얼과 서베이를 제공하는 것.
• 그래프 라플라시안, 인접 행렬 및 그들이 국소 기하학을 유지하는 데 수행하는 역할에 대한 이론적 기초를 명확히 하는 것.
• 핵심 기법들 사이의 연결성과 차이점 — 스펙트럴 클러스터링, 라플라시안 이그지포즈, LPP, 그래프 임베딩, 확산 맵 — 을 설명하는 것.
• 확장성과 일반화를 위해 샘플 외 확장 및 커널 변형을 제시하는 것.
• 실용적 응용 및 확산 기반 기법의 최근 개선 사항을 부각하는 것.

제안 방법

• 데이터 유사도를 모델링하기 위해 k-최근접 이웃 또는 ε-이웃 영역를 사용하여 가중치가 부여된 인접 행렬을 구성한다.
• 도시 행렬 $ \boldsymbol{D} $ 와 인접 행렬 $ \boldsymbol{W} $ 를 사용하여 그래프 라플라시안 행렬을 $ \boldsymbol{L} = \boldsymbol{D} - \boldsymbol{W} $ 로 정의한다.
• 스펙트럴 클러스터링을 통해 일반화된 고유값 문제 $ \boldsymbol{L} \boldsymbol{y} = \lambda \boldsymbol{D} \boldsymbol{y} $ 를 해결하여 데이터를 낮은 차원의 부분공간으로 임베딩한다.
• 라플라시안 이그지포즈는 $ \sum_{i,j} w_{ij} \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2 $ 의 최적화를 통해 임베딩 공간에서의 국소 거리 최소화를 적용한다.
• 국소성 유지 투영(LPP)은 라플라시안 이그지포즈의 선형 근사로, $ \boldsymbol{A} $ 가 $ \boldsymbol{L} $ 에 의해 유도되는 $ \boldsymbol{Y} = \boldsymbol{A}^T \boldsymbol{X} $ 를 해결한다.
• 그래프 임베딩을 통해 일반화된 라플라시안 행렬 $ \boldsymbol{M}^t $ 을 사용하여 $ \boldsymbol{Y}^T \boldsymbol{Y} = \boldsymbol{I} $ 를 만족시키는 조건 하에 $ \boldsymbol{Y}^T \boldsymbol{M}^t \boldsymbol{Y} $ 의 최적화를 수행한다.
• 확산 맵은 데이터 그래프에서의 랜덤 워크 과정을 사용하며, $ \boldsymbol{y}_i^{(t)} = [\lambda_1^t \boldsymbol{\psi}_1(i), \dots, \lambda_p^t \boldsymbol{\psi}_p(i)]^T $ 를 통해 임베딩을 계산한다. 여기서 시간 단계 $ t $ 는 척도 파rameter로 기능한다.

실험 결과

연구 질문

• RQ1 라플라시안 기반 기법들이 차원 축소 과정에서 국소 기하학적 구조를 어떻게 유지하는가?
• RQ2 비선형 특징 추출에서 스펙트럴 클러스터링과 라플라시안 이그지포즈 사이의 이론적 연결 고리는 무엇인가?
• RQ3 샘플 외 확장 기법은 라플라시안 이그지포즈와 스펙트럴 클러스터링을 새로운 데이터 포인트에 일반화하는 데 어떻게 기여하는가?
• RQ4 확산 맵은 랜덤 워크와 시간에 따라 변화하는 확산 과정을 통해 데이터를 어떻게 모델링하는가?
• RQ5 그래프 임베딩과 커널 변형은 LPP와 라플라시안 이그지포즈를 어떻게 일반화하고 통합하는가?

주요 결과

• 그래프 라플라시안은 인접 행렬과 도시 행렬을 통해 이웃 관계를 코딩함으로써 국소 다양체 구조를 효과적으로 포착한다.
• 스펙트럴 클러스터링은 정규화된 라플라시안의 고유벡터로 정의된 부분공간으로 데이터를 임베딩함으로써 더 나은 클러스터 분리 성능을 달성한다.
• 라플라시안 이그지포즈는 임베딩 공간에서 이웃하는 점들 간의 제곱 거리 합을 최소화함으로써 국소 기하학을 유지한다.
• LPP는 라플라시안 이그지포즈의 비선형성에 대한 선형, 빠르고 확장 가능한 대체 방법으로, 라플라시안에서 유도된 선형 부분공간으로 데이터를 투영한다.
• 그래프 임베딩은 일반화된 라플라시안 행렬 $ \boldsymbol{M}^t $ 을 통해 라플라시안 이그지포즈와 LPP를 일반화하며, 더 유연한 최적화 목표를 허용한다.
• 확산 맵은 랜덤 워크를 사용하여 데이터를 모델링하며, 확산 거리 $ d^{(t)}(\boldsymbol{x}_i, \boldsymbol{x}_j) $ 는 임베딩 공간 $ \boldsymbol{y}_i^{(t)} $ 에서의 유클리드 거리와 동일하며, 시간 파rameter $ t $ 는 임베딩의 척도를 제어한다.