[論文レビュー] Non-Parametric Estimation of Manifolds from Noisy Data

Yariv Aizenbud, Barak Sober|arXiv (Cornell University)|May 11, 2021

Topological and Geometric Data Analysis参考文献 45被引用数 11

ひとこと要約

本稿では、ℝᴰ 内のノイズあり有限サンプルから、d次元の部分多様体とその接空間を推定する非パrametricなアルゴリズムを提案する。ノイズありのサンプルがチューブ型近傍領域から得られるモデルのもとで、推定された点と接空間が真の多様体と接空間にほとんど確実に収束することを証明し、点推定のための最適漸近的レート n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾ と接空間推定のための最適漸近的レート n⁻⁽ᵏ⁻¹⁾⁄⁽²ᵏ⁺ᵈ⁾ を達成する。

ABSTRACT

A common observation in data-driven applications is that high dimensional data has a low intrinsic dimension, at least locally. In this work, we consider the problem of estimating a $d$ dimensional sub-manifold of $\mathbb{R}^D$ from a finite set of noisy samples. Assuming that the data was sampled uniformly from a tubular neighborhood of $\mathcal{M}\in \mathcal{C}^k$, a compact manifold without boundary, we present an algorithm that takes a point $r$ from the tubular neighborhood and outputs $\hat p_n\in \mathbb{R}^D$, and $\widehat{T_{\hat p_n}\mathcal{M}}$ an element in the Grassmanian $Gr(d, D)$. We prove that as the number of samples $n o\infty$ the point $\hat p_n$ converges to $p\in \mathcal{M}$ and $\widehat{T_{\hat p_n}\mathcal{M}}$ converges to $T_p\mathcal{M}$ (the tangent space at that point) with high probability. Furthermore, we show that the estimation yields asymptotic rates of convergence of $n^{-\frac{k}{2k + d}}$ for the point estimation and $n^{-\frac{k-1}{2k + d}}$ for the estimation of the tangent space. These rates are known to be optimal for the case of function estimation.

研究の動機と目的

• 高次元空間におけるノイズあり有限サンプルから低次元多様体を推定する課題に対処すること。
• 真の多様体やそのパrametrization にアクセスできない状況でも、データから多様体上の点とその接空間を同時に推定する手法を開発すること。
• チューブ型近傍領域サンプリングモデルのもとで、多様体上の点とその接空間の推定に対する理論的収束レートを確立すること。
• 提案されたアルゴリズムが、非パラメトリック関数推定に知られている最適収束レートを達成することを証明すること。

提案手法

• アルゴリズムは、コンactで境界のない Cᵏ 多様体 ℳ ⊂ ℝᴰ のチューブ型近傍領域に属する点 r を入力とし、ℝᴰ 内の推定点 p̂ₙ と、Grassmannian Gr(d, D) 内の推定接空間 T̂ₚ̂ₙℳ を出力する。
• 局所幾何構造を活用し、ノイズが有界な範囲内で多様体のチューブ型近傍領域から一様にサンプリングされていると仮定する。
• 2段階の手続きを用いる：まず局所座標系を推定し、次に推定された接空間上での局所多項式回帰を実行する。これは Manifold-MLS をインspireしたものである。
• 理論的分析は幾何確率論と部分空間間の主角度に関する境界に依存し、角度の余弦と直交射影に関する補題を用いる。
• 主な要素として、ノイズと幾何的パラメータを含む不等式を用いて、推定された接空間と真の接空間の角度を評価する。
• 収束解析では、集中不等式と、多様体の滑らかさ（Cᵏ）、環境次元 D、内在次元 d の間の相互作用から導かれる漸近的境界を用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズあり有限サンプルから、理論的保証を伴う非パラメトリックなアルゴリズムが、多様体上の点とその接空間を同時に推定できるか？
• RQ2 チューブ型近傍領域サンプリングモデルのもとで、多様体とその接空間の推定に対する最適収束レートは何か？
• RQ3 推定誤差は、サンプルサイズ n、多様体の滑らかさ k、および内在次元 d にどのように依存するか？
• RQ4 提案手法の収束レートは、非パラメトリック推定における既知のミニマックス下界と比較して最適か？

主な発見

• 推定点 p̂ₙ は n → ∞ のときほとんど確実に真の多様体上の点 p に収束する。
• 推定接空間 T̂ₚ̂ₙℳ は n → ∞ のときほとんど確実に真の接空間 Tₚℳ に収束する。
• 点推定は最適漸近的収束レート n⁻ᵏ⁄⁽²ᵏ⁺ᵈ⁾ を達成する。
• 接空間推定は最適漸近的収束レート n⁻⁽ᵏ⁻¹⁾⁄⁽²ᵏ⁺ᵈ⁾ を達成する。
• これらのレートは、滑らかな多様体上での非パラメトリック関数推定に知られているミニマックス最適レートと一致する。
• 理論的解析により、ノイズに対してロバストであり、チューブ型近傍領域サンプリング仮定のもとで最適収束を維持することが確認された。