[논문 리뷰] Non-Parametric Estimation of Manifolds from Noisy Data

Yariv Aizenbud, Barak Sober|arXiv (Cornell University)|2021. 05. 11.

Topological and Geometric Data Analysis참고 문헌 45인용 수 11

한 줄 요약

이 논문은 ℝᴰ 내에서 노이즈가 있는 유한한 표본으로부터 d차원 부분다양체와 그의 탄젠트 공간을 추정하기 위한 비모수적 알고리즘을 제안한다. 이는 근접한 확률 수렴을 증명하며, 부분다양체와 탄젠트 공간의 추정치가 진짜 부분다양체와 탄젠트 공간으로 수렴함을 보이며, 관측 모델이 관류 주위에서 표본을 추출할 경우 점 추정의 최적 渐近 수렴 속도가 n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾이고, 탄젠트 공간 추정의 최적 渐近 수렴 속도가 n⁻⁽ᵏ⁻¹⁾⁄⁽²ᵏ⁺ᵈ⁾임을 보인다.

ABSTRACT

A common observation in data-driven applications is that high dimensional data has a low intrinsic dimension, at least locally. In this work, we consider the problem of estimating a $d$ dimensional sub-manifold of $\mathbb{R}^D$ from a finite set of noisy samples. Assuming that the data was sampled uniformly from a tubular neighborhood of $\mathcal{M}\in \mathcal{C}^k$, a compact manifold without boundary, we present an algorithm that takes a point $r$ from the tubular neighborhood and outputs $\hat p_n\in \mathbb{R}^D$, and $\widehat{T_{\hat p_n}\mathcal{M}}$ an element in the Grassmanian $Gr(d, D)$. We prove that as the number of samples $n o\infty$ the point $\hat p_n$ converges to $p\in \mathcal{M}$ and $\widehat{T_{\hat p_n}\mathcal{M}}$ converges to $T_p\mathcal{M}$ (the tangent space at that point) with high probability. Furthermore, we show that the estimation yields asymptotic rates of convergence of $n^{-\frac{k}{2k + d}}$ for the point estimation and $n^{-\frac{k-1}{2k + d}}$ for the estimation of the tangent space. These rates are known to be optimal for the case of function estimation.

연구 동기 및 목표

• 고차원 공간 내에서 노이즈가 있는 유한한 표본으로부터 저차원 다양체를 추정하는 데 도전하는 것.
• 진짜 다양체나 그 매개변수화에 접근할 필요 없이 데이터로부터 다양체의 점과 그의 탄젠트 공간을 동시에 추정하는 방법을 개발하는 것.
• 관류 주위 표본 추출 모델 하에서 다양체의 점과 탄젠트 공간의 추정에 대한 이론적 수렴 속도를 확립하는 것.
• 제안된 알고리즘이 비모수 함수 추정에 대해 알려진 최적 수렴 속도에 도달함을 증명하는 것.

제안 방법

• 알고리즘은 ℝᴰ 내에 있는 컴act하고 경계가 없는 Cᵏ 다양체 ℳ의 관류 주위에서 점 r을 입력받고, ℝᴰ 내의 추정 점 p̂ₙ와 그라스만만에서의 추정 탄젠트 공간 T̂ₚ̂ₙℳ을 출력한다.
• 지역 기하학을 활용하며, 관류 주위에서 균일하게 표본을 추출하고 노이즈가 유한함을 가정한다.
• 이중 단계 절차를 사용한다: 먼저 국소 좌표계를 추정하고, 그 다음에 추정된 탄젠트 공간 위에서 국소 다항 회귀를 수행한다. 이는 Manifold-MLS에 영향을 받았다.
• 이론적 분석은 기하 확률과 부분공간 간의 주요 각도에 대한 경계에 기반하며, 코사인 각도와 직교 투영에 관한 보조정리들을 사용한다.
• 핵심 구성 요소는 노이즈와 기하학적 파라미터를 포함한 부등식을 통해 추정된 탄젠트 공간과 진짜 탄젠트 공간 간의 각도를 경계하는 것.
• 수렴 분석은 농도 불등식과 다양체의 매끄러움(Cᵏ), 환경 차원 D, 그리고 내재 차원 d 간의 상호작용에서 유도된 점근적 경계를 사용한다.

실험 결과

연구 질문

• RQ1 비모수적 알고리즘이 이론적 보장을 갖추고 노이즈가 있는 유한한 표본으로부터 다양체의 점과 그의 탄젠트 공간을 동시에 추정할 수 있는가?
• RQ2 관류 주위 표본 추출 모델 하에서 다양체와 그의 탄젠트 공간을 추정할 때 최적 수렴 속도는 무엇인가?
• RQ3 추정 오차는 표본 크기 n, 다양체의 매끄러움 k, 내재 차원 d에 따라 어떻게 영향을 받는가?
• RQ4 제안된 방법의 수렴 속도가 비모수 추정에 대해 알려진 최소 최대 하한과 비교하여 최적인가?

주요 결과

• 추정된 점 p̂ₙ은 n → ∞일 때 진짜 다양체 점 p로 거의 확실하게 수렴한다.
• 추정된 탄젠트 공간 T̂ₚ̂ₙℳ은 n → ∞일 때 진짜 탄젠트 공간 Tₚℳ로 거의 확실하게 수렴한다.
• 점 추정은 최적의 점근 수렴 속도 n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾를 달 đạt한다.
• 탄젠트 공간 추정은 최적의 점근 수렴 속도 n⁻⁽ᵏ⁻¹⁾⁄⁽²ᵏ⁺ᵈ⁾를 달 đạt한다.
• 이 수렴 속도는 매끄러운 다양체 위에서 비모수 함수 추정에 대해 알려진 최소 최대 최적 속도와 일치한다.
• 이론적 분석은 이 방법이 노이즈에 대해 강건하며, 관류 주위 표본 추출 가정 하에 최적 수렴을 유지함을 확인한다.