[论文解读] PCA-Based Out-of-Sample Extension for Dimensionality Reduction

Yariv Aizenbud, Amit Bermanis+1 more|arXiv (Cornell University)|Nov 3, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 15

一句话总结

本文提出了一种基于主成分分析（PCA）的新型样本外扩展方法，用于降维，该方法利用局部流形几何结构，高效地映射新数据点并检测异常。通过利用嵌入数据的局部PCA构建随机线性系统，该方法实现了有界误差，并提供了一种基于马氏距离的异常度量，相较于Nyström方法及其他基于核的方法，在合成数据和真实世界数据上表现更优。

ABSTRACT

Dimensionality reduction methods are very common in the field of high dimensional data analysis. Typically, algorithms for dimensionality reduction are computationally expensive. Therefore, their applications for the analysis of massive amounts of data are impractical. For example, repeated computations due to accumulated data are computationally prohibitive. In this paper, an out-of-sample extension scheme, which is used as a complementary method for dimensionality reduction, is presented. We describe an algorithm which performs an out-of-sample extension to newly-arrived data points. Unlike other extension algorithms such as Nyström algorithm, the proposed algorithm uses the intrinsic geometry of the data and properties for dimensionality reduction map. We prove that the error of the proposed algorithm is bounded. Additionally to the out-of-sample extension, the algorithm provides a degree of the abnormality of any newly-arrived data point.

研究动机与目标

• 解决在大规模、动态增长的数据集上重新计算降维映射的计算不可行性问题。
• 开发一种高效且能保持数据流形内在几何结构的样本外扩展方法。
• 实现在嵌入空间中自动检测异常或离群数据点。
• 减少对病态条件核矩阵及核参数敏感性的依赖，这是Nyström及其相关方法的常见问题。
• 在Lipschitz连续性假设下，提供理论上受约束的误差近似。

提出的方法

• 该方法基于嵌入数据的几何结构，通过映射图像的局部PCA，为每个样本外点构建局部邻域。
• 利用这些邻域构建随机线性系统，以几何上合理的方式计算样本外扩展，最小化重构误差。
• 该算法使用来自公式（4.5）的权重，强调插值过程中邻近且几何一致的点。
• 通过公式（2.9）计算的扩展残差马氏距离检测异常，该距离量化了与学习到的流形的偏离程度。
• 该方法避免了对完整核矩阵进行对角化，转而依赖局部PCA，与Nyström和几何调和方法相比，降低了计算成本。
• 通过多尺度插值和在Lipschitz连续性假设下的误差分析对方法进行了验证。

实验结果

研究问题

• RQ1 如何使降维的样本外扩展既高效又忠实于底层流形的几何结构？
• RQ2 基于局部PCA的插值方案是否能在Lipschitz连续映射下实现有界误差？
• RQ3 如何在样本外扩展过程中自动检测异常数据点？
• RQ4 与Nyström和几何调和方法相比，该方法在计算和数值方面有何优势？
• RQ5 所提出的方法在合成数据和真实世界数据中在多大程度上保持了流形结构？

主要发现

• 所提出的方法在异常数据点上实现了显著更低的残差误差，其中数据点#51的残差误差为2.72×10⁻⁷，而正常点的平均值为6.21×10⁻¹⁰。
• 基于马氏距离的异常检测方法正确识别了DARPA数据集中标记的攻击点，其中数据点#51具有最高的距离值。
• 在原始降维映射为Lipschitz连续的假设下，样本外扩展的误差在理论上是受约束的。
• 在视觉和定量比较中，该方法在保持马蹄铁形流形结构方面优于Nyström和基于MSE的扩展方法。
• 通过避免对完整核矩阵进行对角化，计算复杂度得以降低，转而依赖局部PCA进行邻域构建。
• 该算法成功将嵌入扩展到新数据点，同时保持了几何保真度，并实现了实时异常检测。