[论文解读] Manifold Denoising by Nonlinear Robust Principal Component Analysis

He Lyu, Ningyu Sha+4 more|arXiv (Cornell University)|Nov 10, 2019

Face and Expression Recognition参考文献 23被引用 9

一句话总结

本文提出非线性鲁棒主成分分析（NRPCA），一种新颖方法，通过结合局部切空间分析与曲率感知优化，将鲁棒PCA扩展至非线性流形。该方法同时实现稀疏异常值去噪与低维流形结构恢复，在合成数据及真实数据集（包括MNIST数字和单细胞RNA-seq数据）上达到最先进性能，并在流形非一致性条件下建立了理论误差界。

ABSTRACT

This paper extends robust principal component analysis (RPCA) to nonlinear manifolds. Suppose that the observed data matrix is the sum of a sparse component and a component drawn from some low dimensional manifold. Is it possible to separate them by using similar ideas as RPCA? Is there any benefit in treating the manifold as a whole as opposed to treating each local region independently? We answer these two questions affirmatively by proposing and analyzing an optimization framework that separates the sparse component from the manifold under noisy data. Theoretical error bounds are provided when the tangent spaces of the manifold satisfy certain incoherence conditions. We also provide a near optimal choice of the tuning parameters for the proposed optimization formulation with the help of a new curvature estimation method. The efficacy of our method is demonstrated on both synthetic and real datasets.

研究动机与目标

• 为解决标准鲁棒PCA假设线性子空间的局限性，将其扩展至非线性流形。
• 在保留底层低维流形结构的同时，校正高维数据中的稀疏异常值。
• 提供一个统一框架，将流形整体视为整体处理，而非独立处理局部邻域。
• 在内在流形非一致性条件下，建立去噪性能的理论误差界。
• 实现在真实世界数据（如基因表达和图像数据）中实用的异常值检测与校正。

提出的方法

• 该方法使用k-最近邻（k-NN）在每个数据点周围定义重叠的局部邻域，形成局部数据矩阵。
• 对每个邻域，求解一个正则化优化问题，通过核范数与L1正则化将低秩流形分量与稀疏噪声分离。
• 通过一种新型曲率估计方法，将流形曲率估计结果融入优化权重，以提升鲁棒性。
• 算法采用迭代邻域重分配机制，以优化邻域分配并提升去噪精度。
• 调优参数（包括权重λi和β）基于曲率与数据维度自动选择。
• 整体公式通过交替最小化求解，约束条件确保全局与局部稀疏分量之间的一致性。

实验结果

研究问题

• RQ1 鲁棒PCA能否在保持理论保证的前提下推广至非线性流形？
• RQ2 将流形整体处理而非独立处理局部邻域，是否能提升去噪性能与稳定性？
• RQ3 曲率信息能否有效整合进优化框架，以增强对稀疏噪声的鲁棒性？
• RQ4 在内在流形非一致性条件下，能否为去噪误差建立理论误差界？
• RQ5 所提出方法在真实世界非线性数据集中，是否能有效恢复真实流形结构并检测稀疏异常值？

主要发现

• NRPCA在MNIST数字数据中成功恢复了底层流形结构，使Isomap与拉普拉斯特征映射嵌入的轨迹模式更清晰，特别是在数字4与9之间。
• 在单细胞RNA-seq数据中，NRPCA去噪使局部线性嵌入（LLE）揭示了胚胎体分化第9天附近具有生物学意义的分支轨迹。
• 通过基于曲率的自动调参程序，实现了近似最优的超参数选择，显著降低了对人工调参的依赖。
• 两次迭代的邻域重分配已足以实现稳定且高质量的去噪结果，计算成本低且不损失精度。
• 在流形非一致性条件下建立了理论误差界，验证了方法对稀疏噪声与流形曲率的鲁棒性。
• 稀疏分量S^i的支持在scRNA-seq数据中识别出具有生物学意义的基因，实现了与发育过渡相关的差异表达基因检测。