[논문 리뷰] Inferring manifolds using Gaussian processes

David B. Dunson, Nan Wu|arXiv (Cornell University)|2021. 10. 14.

Morphological variations and asymmetry참고 문헌 25인용 수 6

한 줄 요약

이 논문은 소음이 있는 고차원 데이터로부터 확률적 다양체 복원을 위한 새로운 가우시안 프로세스 기반 방법인 MrGap을 제안한다. 국소 공분산 행렬 이론을 활용하여 전반적인 다양체 추정 문제를 국소 회귀 문제로 전환한다. 이는 노이즈 제거, 데이터 포인트 간 부드러운 보간, 원래 관측 공간에서의 완전한 확률적 불확실성 정량화를 가능하게 하며, 기존의 주성분 그래프와 같은 방법들보다 정확도와 부드러움에서 뛰어나다.

ABSTRACT

It is often of interest to infer lower-dimensional structure underlying complex data. As a flexible class of non-linear structures, it is common to focus on Riemannian manifolds. Most existing manifold learning algorithms replace the original data with lower-dimensional coordinates without providing an estimate of the manifold or using the manifold to denoise the original data. This article proposes a new methodology to address these problems, allowing interpolation of the estimated manifold between the fitted data points. The proposed approach is motivated by the novel theoretical properties of local covariance matrices constructed from samples near a manifold. Our results enable us to turn a global manifold reconstruction problem into a local regression problem, allowing for the application of Gaussian processes for probabilistic manifold reconstruction. In addition to the theory justifying our methodology, we provide simulated and real data examples to illustrate the performance.

연구 동기 및 목표

• 기존의 다양체 학습 알고리즘은 원래 관측 공간에서 다양체를 추정하거나 노이즈 제거된 데이터 포인트를 제공하지 못하는 한계를 해결하기 위해.
• 소음이 있는 데이터에 대해서도 고차원 데이터 공간에서 직접 부드럽고 낮은 차원의 다양체를 확률적 프레임워크로 복원하는 것.
• 추정된 다양체 상에서 관측된 데이터 포인트 간의 보간을 가능하게 하여 연속성과 기하학적 충실도를 확보하기 위해.
• 각 노이즈가 있는 포인트에 대해 전체 사후 분포를 제공함으로써 불확실성 정량화를 수행하여 설명 가능성과 강건성을 향상시키기 위해.
• 특히 소음이 많거나 복잡한 데이터 환경에서, 기존의 비모수적 다양체 복원 방법들보다 정확도와 부드러움에서 뛰어나게 성능을 향상시키기 위해.

제안 방법

• 이론적 분석을 통해 리만 다양체 상의 노이즈가 있는 샘플로부터 구성된 국소 공분산 행렬의 성질을 분석하였으며, 그 스펙트럼 특성이 기저의 다양체 차원과 구조를 반영함을 보였다.
• 이러한 공분산 행렬을 통해 드러나는 국소 기하학을 활용하여 전반적 다양체 복원 문제를 국소 회귀 문제로 재구성하였다.
• 유럽식 좌표를 예측 변수로, 다양체 좌표를 반응 변수로 사용하여 가우시안 프로세스 회귀를 국소 회귀 프레임워크에 적용함으로써 부드럽고 확률적인 다양체 추정을 도출하였다.
• 알고리즘은 각 데이터 포인트에 대해 전체 사후 분포를 출력하며, 평균은 다양체 상의 노이즈 제거된 포인트를 나타내고, 분산은 불확실성을 정량화한다.
• 보간은 GP 예측을 통해 달성되며, 재구성된 다양체 전반에 걸쳐 부드러운 전이를 보장한다.
• 이론적 일致성 결과와 합성 및 실세계 데이터에 대한 실험적 비교를 통해 방법의 유효성을 검증하였다. 데이터로는 근적외선 스펙트로스코피와 카시니 타원 곡선이 포함되었다.

실험 결과

연구 질문

• RQ1 다양체 상의 노이즈가 있는 샘플에 대한 국소 공분산 행렬 분석을 통해 전반적 다양체 복원 문제를 국소 회귀 문제로 전환할 수 있는가?
• RQ2 노이즈가 있는 관측치로부터 고차원 원래 공간에서 부드럽고 확률적인 다양체를 재구성하기 위해 가우시안 프로세스 회귀를 효과적으로 적용할 수 있는가?
• RQ3 제안된 MrGap 방법은 기존의 비모수적 방법들인 주성분 그래프보다 더 나은 노이즈 제거와 더 부드러운 다양체 보간을 제공하는가?
• RQ4 기본적으로 알려진 다양체를 가진 실세계의 노이즈가 있는 데이터셋에서 재구성 정확도와 불확실성 정량화 측면에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 노이즈 하에서 기저 다양체의 내재 차원과 국소 공분산 행렬의 스펙트럼 특성 간의 관계는 어떠한가?

주요 결과

• 카시니 타원 데이터셋에서 MrGap는 GRMSE 0.0224를 기록하였고, 주성분 그래프 방법의 GRMSE 0.0322보다 44% 향상된 재구성 정확도를 보였다.
• MrGap 방법은 주성분 그래프 방법이 특정 지점에서 비연속성과 끼임 현상을 보이던 것과 달리, 눈에 띄는 끝점이나 비연속성이 없는 부드럽고 연속적인 다양체 추정을 생성하였다.
• 이론적 분석을 통해 노이즈가 있는 샘플로부터 유도된 국소 공분산 행렬이 기저 다양체의 차원을 반영하는 스펙트럼 서명을 유지함을 확인하였으며, 이는 강건한 차원 추정에 기여하였다.
• 이 방법은 86개의 밀 샘플의 반사 스펙트럼을 효과적으로 노이즈 제거하여 원래의 701차원 공간에서 더 깔끔하고 해석 가능한 곡선을 생성하였다.
• 알고리즘은 확률적 추론을 가능하게 하며, 각 노이즈가 있는 데이터 포인트에 대해 다양체 상의 노이즈 제거된 포인트 중심의 전체 사후 분포를 제공함으로써 불확실성 인식 분석을 지원한다.
• 합성 및 실세계 데이터에 대한 실험 결과는 MrGap가 뚜렷한 노이즈 하에서도 기하학적 및 위상적 구조를 유지하면서 효과적으로 다양체를 재구성함을 보여주었다.