[论文解读] Manifold Learning Using Kernel Density Estimation and Local Principal Components Analysis

Kitty Mohammed, Hariharan Narayanan|arXiv (Cornell University)|Sep 11, 2017

Face and Expression Recognition参考文献 14被引用 10

一句话总结

本文提出一种流形学习方法，通过两种新型近似平方距离函数（asdf）从无噪声、均匀采样数据中构建可证明平滑的流形估计器：一种基于核密度估计（KDE），另一种基于局部主成分分析（PCA）。该方法确保输出流形在Hausdorff距离下与真实流形任意接近，且具有有界曲率，理论保证基于隐函数定理及Fefferman等人（2016）的研究。

ABSTRACT

We consider the problem of recovering a $d-$dimensional manifold $\mathcal{M} \subset \mathbb{R}^n$ when provided with noiseless samples from $\mathcal{M}$. There are many algorithms (e.g., Isomap) that are used in practice to fit manifolds and thus reduce the dimensionality of a given data set. Ideally, the estimate $\mathcal{M}_\mathrm{put}$ of $\mathcal{M}$ should be an actual manifold of a certain smoothness; furthermore, $\mathcal{M}_\mathrm{put}$ should be arbitrarily close to $\mathcal{M}$ in Hausdorff distance given a large enough sample. Generally speaking, existing manifold learning algorithms do not meet these criteria. Fefferman, Mitter, and Narayanan (2016) have developed an algorithm whose output is provably a manifold. The key idea is to define an approximate squared-distance function (asdf) to $\mathcal{M}$. Then, $\mathcal{M}_\mathrm{put}$ is given by the set of points where the gradient of the asdf is orthogonal to the subspace spanned by the largest $n - d$ eigenvectors of the Hessian of the asdf. As long as the asdf meets certain regularity conditions, $\mathcal{M}_\mathrm{put}$ is a manifold that is arbitrarily close in Hausdorff distance to $\mathcal{M}$. In this paper, we define two asdfs that can be calculated from the data and show that they meet the required regularity conditions. The first asdf is based on kernel density estimation, and the second is based on estimation of tangent spaces using local principal components analysis.

研究动机与目标

• 解决现有流形学习算法无法生成接近真实底层流形的实际流形的局限性。
• 提供满足Fefferman等人（2016）理论中流形恢复所需正则性条件的数据驱动asdf。
• 证明基于KDE与局部PCA的asdf均能生成光滑流形，具有有界曲率，并在Hausdorff距离下收敛至真实流形。
• 通过直接从数据计算asdf而无需穷举搜索，为Fefferman等人算法提供一种实用且非穷举的替代方案。
• 通过在圆、三维曲线与球面上的模拟实验，实证验证该方法，显示流形恢复的均方根误差较低。

提出的方法

• 从数据中定义两种近似平方距离函数（asdf）：一种基于核密度估计（KDE），另一种基于局部PCA以近似切空间。
• 利用每个asdf的梯度与Hessian矩阵，识别梯度与Hessian矩阵最大 $n-d$ 个特征值对应特征向量张成子空间正交的点。
• 应用子空间约束梯度下降法（基于Ozertem与Erdogmus，2011）迭代将点移向估计的流形。
• 将最终估计器 $\mathcal{M}_{\text{put}}$ 构建为满足正交性条件的点集，确保其为具有有界曲率的流形。
• 利用隐函数定理及Fefferman等人（2016）的理论结果，推导 $\mathcal{M}_{\text{put}}$ 的Hausdorff距离与曲率的界。
• 使用带噪声的采样点网格作为梯度下降的初始化，通过容差条件监控收敛性。

实验结果

研究问题

• RQ1 能否利用核密度估计构建满足可证明流形恢复所需正则性条件的asdf？
• RQ2 局部主成分分析能否提供一种可靠的方法，用于从无噪声、均匀采样数据中估计流形？
• RQ3 所得到的流形估计器 $\mathcal{M}_{\text{put}}$ 是否具有有界曲率，并在Hausdorff距离下收敛至真实流形 $\mathcal{M}$？
• RQ4 在有限样本模拟中，基于KDE与局部PCA的asdf在精度与收敛速度方面有何差异？
• RQ5 Fefferman等人（2016）的理论保证能否通过直接从数据计算的实用、数据驱动的asdf实现，而无需穷举搜索？

主要发现

• 基于KDE的asdf在圆上平均均方根距离为0.000433，在三维曲线上为0.000990，在球面上为0.00221。
• 基于局部PCA的asdf在圆上平均均方根距离更低，为0.000146，在三维曲线上为0.000453，在球面上为0.000603。
• 估计流形 $\mathcal{M}_{\text{put}}$ 与真实流形 $\mathcal{M}$ 之间的Hausdorff距离为 $O(\widebar{\tau}^2)$，其中 $\widebar{\tau}$ 为与数据相关的参数。
• 估计流形 $\mathcal{M}_{\text{put}}$ 被保证为 $C^2$ 流形，其曲率下界为 $c\widebar{\tau}$，其中 $c$ 依赖于模型参数。
• 该方法通过直接使用KDE与局部PCA从数据计算asdf，避免了Fefferman等人（2016）算法中的穷举搜索。
• 理论分析证实 $\mathcal{M}_{\text{put}}$ 是具有有界光滑度的流形，且随着样本量增加，其在Hausdorff距离下收敛至 $\mathcal{M}$。