[논문 리뷰] Locally Linear Embedding and its Variants: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2020. 11. 22.

Face and Expression Recognition참고 문헌 82인용 수 30

한 줄 요약

Locally Linear Embedding (LLE) 및 변형에 대한 포괄적인 튜토리얼과 조사를 다루며, 이론, 확장, 감독/반감독 접근법, 로버스트성 및 데이터 융합을 포함한다.

ABSTRACT

This is a tutorial and survey paper for Locally Linear Embedding (LLE) and its variants. The idea of LLE is fitting the local structure of manifold in the embedding space. In this paper, we first cover LLE, kernel LLE, inverse LLE, and feature fusion with LLE. Then, we cover out-of-sample embedding using linear reconstruction, eigenfunctions, and kernel mapping. Incremental LLE is explained for embedding streaming data. Landmark LLE methods using the Nystrom approximation and locally linear landmarks are explained for big data embedding. We introduce the methods for parameter selection of number of neighbors using residual variance, Procrustes statistics, preservation neighborhood error, and local neighborhood selection. Afterwards, Supervised LLE (SLLE), enhanced SLLE, SLLE projection, probabilistic SLLE, supervised guided LLE (using Hilbert-Schmidt independence criterion), and semi-supervised LLE are explained for supervised and semi-supervised embedding. Robust LLE methods using least squares problem and penalty functions are also introduced for embedding in the presence of outliers and noise. Then, we introduce fusion of LLE with other manifold learning methods including Isomap (i.e., ISOLLE), principal component analysis, Fisher discriminant analysis, discriminant LLE, and Isotop. Finally, we explain weighted LLE in which the distances, reconstruction weights, or the embeddings are adjusted for better embedding; we cover weighted LLE for deformed distributed data, weighted LLE using probability of occurrence, SLLE by adjusting weights, modified LLE, and iterative LLE.

연구 동기 및 목표

• 매니폴드 임베딩 중 로컬 구조를 보존하는 LLE의 핵심 아이디어를 제시한다.
• 적용 가능성 확장을 위해 커널 LLE, 역 LLE, 그리고 LLE와의 특징 융합을 조사한다.
• 대용량 데이터 및 스트리밍 시나리오를 위한 out-of-sample 임베딩, 점진적(incremental) 및 랜드마크 LLE를 설명한다.
• 이웃 크기 및 기타 하이퍼파라미터에 대한 매개변수 선택 전략을 상세히 다룬다.
• 레이블, 노이즈 및 이상치 처리를 위한 감독, 반감독 및 로버스트한 LLE 변형을 다룬다.

제안 방법

• 세 단계 LLE 과정 설명: k-NN 그래프를 구성하고, 이웃의 선형 결합으로 재구성 가중치를 계산하며, 동일한 가중치를 사용하여 임베딩한다.
• 제한된 제곱 형식(constraints)으로 재구성 가중치의 닫힌 형태 해를 도출한다.
• 특징 공간에서 단계들을 수행하고 커널 기반 가중치를 도출하여 커널 LLE로 확장한다.
• 선형 재구성, 고유함수 기반 매핑, 커널 매핑을 이용한 out-of-sample 확장을 설명한다.
• 스트리밍 및 대규모 데이터세트를 위한 확장성을 위한 점진적(incremental) 및 랜드마크 LLE를 소개한다.
• 가중치 LLE를 Isomap 및 기타 방법과 융합하여 향상된 임베딩을 도모하는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 비선형 매니폴드 임베딩을 향상시키기 위해 LLE를 커널 공간과 특징 융합으로 확장할 수 있는가?
• RQ2 대규모 또는 스트리밍 데이터에 대해 효과적인 out-of-sample 확장, 점진적 방법 및 랜드마크 전략은 무엇인가?
• RQ3 LLE의 감독 및 반감독 변형을 어떻게 형식화하고 최적화할 수 있는가?
• RQ4 LLE 기반 임베딩에서 노이즈와 이상치에 대해 로버스트함을 제공하는 접근법은 무엇인가?
• RQ5 향상된 성능을 위해 LLE를 다른 매니폴드 학습 방법 및 가중치 변형과 어떻게 통합할 수 있는가?

주요 결과

• LLE는 k-NN에서 재구성 가중치를 학습하고 이를 임베딩 공간에서 재사용함으로써 로컬 구조를 보존한다.
• 커널 LLE는 커널 공간에서 재구성을 수행함으로써 방법을 고차원 특징 공간으로 확장한다.
• out-of-sample 확장에는 선형 재구성, 고유함수 기반 매핑, 커널 기반 매핑이 포함되어 새로운 데이터를 임베딩할 수 있게 한다.
• 점진적 및 랜드마크 LLE는 온라인 또는 Nyström 기반 전략을 사용하여 스트리밍 및 매우 큰 데이터셋의 임베딩을 가능하게 한다.
• 감독, 반감독 및 로버스트 변형은 라벨이 있는 데이터의 지도 및 노이즈/이상치가 많은 설정을 다룬다.
• LLE를 Isomap, PCA, 판별 기법과의 융합은 ISOLLE 및 판별 LLE와 같은 하이브리드 방법을 낳는다.