[论文解读] Manifold Reconstruction and Denoising from Scattered Data in High Dimension via a Generalization of $L_1$-Median

Shira Faigenbaum-Golovin, David I. W. Levin|arXiv (Cornell University)|Dec 23, 2020

Advanced Vision and Imaging参考文献 38被引用 4

一句话总结

本文提出流形局部最优投影（MLOP），一种非凸优化方法，通过将L1-中位数推广至高维空间，从高维散乱数据中重构并去噪低维流形。该方法实现O(h²)逼近精度，在局部极小值附近线性收敛，且在不进行降维的情况下，有效处理噪声、异常值和非均匀采样。

ABSTRACT

In this paper, we present a method for denoising and reconstruction of low-dimensional manifold in high-dimensional space. We suggest a multidimensional extension of the Locally Optimal Projection algorithm which was introduced by Lipman et al. in 2007 for surface reconstruction in 3D. The method bypasses the curse of dimensionality and avoids the need for carrying out dimensional reduction. It is based on a non-convex optimization problem, which leverages a generalization of the outlier robust L1-median to higher dimensions while generating noise-free quasi-uniformly distributed points reconstructing the unknown low-dimensional manifold. We develop a new algorithm and prove that it converges to a local stationary solution with a bounded linear rate of convergence in case the starting point is close enough to the local minimum. In addition, we show that its approximation order is $O(h^2)$, where $h$ is the representative distance between the given points. We demonstrate the effectiveness of our approach by considering different manifold topologies with various amounts of noise, including a case of a manifold of different co-dimensions at different locations.

研究动机与目标

• 解决从高维、噪声大且非均匀采样数据中重构并去噪低维流形的挑战。
• 克服传统方法依赖法向估计或假设数据光滑且无噪声的局限性。
• 开发一种避免降维、对异常值和采样密度变化具有鲁棒性的方法。
• 在高维空间中提供无噪声、准均匀分布的底层流形重构。
• 为所提算法建立理论收敛性与逼近误差界。

提出的方法

• 该方法通过高维空间中L1-中位数的多维推广，将局部最优投影（LOP）算法扩展至高维，以增强对异常值的鲁棒性。
• 求解一个非凸优化问题，其目标函数结合了数据保真项与促进点分布准均匀性的正则化项。
• 算法通过迭代更新点位置以最小化目标函数，利用高维空间中的局部投影与基于L1-中位数的加权策略。
• 当初始点足够接近局部极小值时，证明其收敛至局部驻点解，且收敛速率有界且线性。
• 该方法无需表面参数化、法向估计或对流形内在维数的先验知识。
• 时间复杂度随环境维数n线性增长，且与内在维数d无关。

实验结果

研究问题

• RQ1 基于广义L1-中位数的非凸优化框架能否有效从高维噪声数据中重构低维流形？
• RQ2 在高维、噪声环境下，所提方法是否比经典方法具有更高的逼近精度？
• RQ3 该方法能否在不依赖降维或法向估计的前提下，线性收敛至局部极小值？
• RQ4 该方法在具有不同余维数和非均匀采样特性的流形上表现如何？
• RQ5 该方法在代表点间距h方面，其理论逼近阶数是多少？

主要发现

• 当初始点足够接近局部极小值时，MLOP算法收敛至局部驻点解，且收敛速率有界并呈线性。
• 该方法实现O(h²)的逼近阶，其中h为输入点之间的代表性距离。
• 由于算法诱导出准均匀采样，其重构精度在使用局部PCA时优于无噪声数据。
• 在噪声水平为0.1和0.2时，中位数PCA误差仅从7.9略微上升至8.2，表明对噪声具有强鲁棒性。
• 该方法能有效处理复杂拓扑结构，包括在不同区域具有变化余维数的流形。
• 该算法的复杂度与环境维数n呈线性关系，且不依赖于内在维数d，因此可扩展至高维空间。