[논문 리뷰] LDLE: Low Distortion Local Eigenmaps

Dhruv Kohli, Alexander Cloninger외 1명|arXiv (Cornell University)|2021. 01. 26.

Human Pose and Action Recognition참고 문헌 40인용 수 6

한 줄 요약

LDLE (저편향 국소 고유맵)는 그래프 라플라시안 고유벡터를 사용해 저편향 국소 임bedding을 구성하고, 프로크루스터 분석을 통해 이를 정렬함으로써 전역적이고 내재 차원의 임베딩을 생성하는 다양체 학습 방법이다. 이 방법은 다량체를 찢고 색상으로 표시된 경계를 통해 접합 지침을 제공함으로써, 토러스나 모비우스의 띠와 같은 닫힘 및 비방향성 다량체를 정확하게 임베딩할 수 있으며, 노이즈와 희소성 하에서 거리 보존 성능이 기존 방법들보다 뛰어나다.

ABSTRACT

We present Low Distortion Local Eigenmaps (LDLE), a manifold learning technique which constructs a set of low distortion local views of a dataset in lower dimension and registers them to obtain a global embedding. The local views are constructed using the global eigenvectors of the graph Laplacian and are registered using Procrustes analysis. The choice of these eigenvectors may vary across the regions. In contrast to existing techniques, LDLE can embed closed and non-orientable manifolds into their intrinsic dimension by tearing them apart. It also provides gluing instruction on the boundary of the torn embedding to help identify the topology of the original manifold. Our experimental results will show that LDLE largely preserved distances up to a constant scale while other techniques produced higher distortion. We also demonstrate that LDLE produces high quality embeddings even when the data is noisy or sparse.

연구 동기 및 목표

• 그래프 라플라시안의 고유함수를 기반으로 한 저편향 국소 매개변수화의 이산적이고 알고리즘화된 실현을 개발한다.
• 국소 시각을 정렬하는 동안 다량체를 찢을 수 있도록 허용하여 닫힘 및 비방향성 다량체의 전역적 다량체 임베딩을 가능하게 한다.
• 색상으로 표시된 경계 표시를 통해 원래 다량체의 위상수학적 연결성을 복원할 수 있는 접합 지침을 제공한다.
• 지오데식 거리를 일정 비율 스케일링까지 유지함으로써 저차원 임베딩에서 편향을 최소화한다.
• 고유벡터 기울기의 안정적 추정을 통해 입력 데이터의 노이즈와 희소성에 대한 강건성을 확보한다.

제안 방법

• 지역 영역마다 편향을 최소화하기 위해 선택된 그래프 라플라시안 고유벡터로부터 유도된 저차원 매개변수화 Φₖ를 사용해 다량체의 국소 시각을 구성한다.
• 각 국소 차트에 적합한 고유벡터를 선택하기 위해 라플라시안 고유함수 기울기 필드의 내적을 국소 상관관계를 통해 추정한다.
• 국소 시각 Φₖ(Uₖ)를 임베딩 공간에서 프로크루스터 분석을 적용해 정렬함으로써 상호 간의 정렬 오차를 최소화하면서 상대 기하학적 구조를 유지한다.
• 닫힘 및 비방향성 다량체의 구조를 처리하기 위해 임베딩 중 다량체를 찢는 것을 허용함으로써 위상적 모순을 피한다.
• 같은 색상의 경계 점이 원래 다량체 상의 인접한 점을 나타내도록 색상으로 표시된 경계를 사용해 접합 지침을 인코딩한다.
• 노이즈 상황에서도 핵심 내적 항목 (|Ãkij|) 을 효율적으로 추정하기 위해 페인만-카프 공식과 저랭크 근사를 활용한다.

실험 결과

연구 질문

• RQ1 그래프 라플라시안 고유벡터를 사용해 이산적 환경에서 저편향 국소 매개변수화를 구성할 수 있는가?
• RQ2 국소 시각을 정렬하여 전역적 임베딩을 형성할 수 있으며, 내재 기하학적 구조를 유지할 수 있는가?
• RQ3 LDLE는 토러스나 모비우스의 띠와 같은 닫힘 및 비방향성 다량체를 내재 차원에 편향 없이 임베딩할 수 있는가?
• RQ4 노이즈와 희소성 하에서 기존 방법들인 UMAP, t-SNE, 라플라시안 고유맵과 비교해 LDLE의 지오데식 거리 보존 성능은 어떠한가?
• RQ5 경계 색상 표시가 흩어진 임베딩에서 원래 다량체를 복원하기 위한 신뢰할 수 있는 위상수학적 접합 지침을 제공할 수 있는가?

주요 결과

• LDLE는 기존 방법들보다 훨씬 낮은 편향을 달성하며, 스위스롤과 토러스 데이터셋을 통해 지오데식 거리를 일정 비율 스케일링까지 유지함을 입증했다.
• 다량체를 찢고 경계 색상 표시를 통해 접합을 유도함으로써, 모비우스의 띠와 클라인 병과 같은 비방향성 다량체를 성공적으로 임베딩했다.
• 노이즈가 있는 스위스롤(분산 10⁻⁴)에서, 그래프 라플라시안의 저랭크 근사를 사용한 페인만-카프 공식이 |Ãkij|의 추정에 가장 정확했으며, LLR와 유한합 근사보다 뛰어난 성능을 보였다.
• 희소 샘플링과 노이즈 상황에서도 LDLE는 낮은 편향을 유지하며 국소 매개변수화의 품질을 높게 유지했으며, 이는 편향 측도 ||Φₖ||_Lip ||Φₖ⁻¹||_Lip 로 측정되었다.
• LDLE 임베딩에서 유도된 자르고 붙이는 다이어그램은 정확하게 위상적 관계를 식별했으며, 같은 색상의 경계 세그먼트는 접합되어야 할 점들을 나타냈다.
• 각 영역마다 국소 고유벡터를 선택하는 알고리즘의 특성 덕분에 지역별 적응형 매개변수화가 가능하여, 균일한 전역 방법보다 지역 정밀도가 향상되었다.