[论文解读] Locally Linear Embedding and its Variants: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Nov 22, 2020

Face and Expression Recognition参考文献 82被引用 30

一句话总结

对 Locally Linear Embedding (LLE) 及其变体的全面教程和综述，涵盖理论、扩展、监督/半监督方法、鲁棒性和数据融合。

ABSTRACT

This is a tutorial and survey paper for Locally Linear Embedding (LLE) and its variants. The idea of LLE is fitting the local structure of manifold in the embedding space. In this paper, we first cover LLE, kernel LLE, inverse LLE, and feature fusion with LLE. Then, we cover out-of-sample embedding using linear reconstruction, eigenfunctions, and kernel mapping. Incremental LLE is explained for embedding streaming data. Landmark LLE methods using the Nystrom approximation and locally linear landmarks are explained for big data embedding. We introduce the methods for parameter selection of number of neighbors using residual variance, Procrustes statistics, preservation neighborhood error, and local neighborhood selection. Afterwards, Supervised LLE (SLLE), enhanced SLLE, SLLE projection, probabilistic SLLE, supervised guided LLE (using Hilbert-Schmidt independence criterion), and semi-supervised LLE are explained for supervised and semi-supervised embedding. Robust LLE methods using least squares problem and penalty functions are also introduced for embedding in the presence of outliers and noise. Then, we introduce fusion of LLE with other manifold learning methods including Isomap (i.e., ISOLLE), principal component analysis, Fisher discriminant analysis, discriminant LLE, and Isotop. Finally, we explain weighted LLE in which the distances, reconstruction weights, or the embeddings are adjusted for better embedding; we cover weighted LLE for deformed distributed data, weighted LLE using probability of occurrence, SLLE by adjusting weights, modified LLE, and iterative LLE.

研究动机与目标

• 展示 LLE 的核心思想，即在流形嵌入过程中保留局部结构。
• 综述 kernel LLE、inverse LLE，以及与 LLE 的特征融合以扩展适用性。
• 解释 out-of-sample embedding、incremental 和 landmark LLE 在大数据与流式场景中的应用。
• 详细说明邻域大小及其他超参数的参数选择策略。
• 涵盖监督、半监督和鲁棒的 LLE 变体，以处理标签、噪声和离群值。

提出的方法

• 描述三步 LLE 过程：构建 k-NN 图、用邻居的线性组合计算重构权重、并使用相同权重进行嵌入。
• 通过受约束的二次型推导重构权重的闭式解。
• 通过在特征空间中执行步骤并推导基于核的权重，将其扩展到 kernel LLE。
• 解释使用线性重构、特征值函数和核映射的 out-of-sample 扩展。
• 引入 incremental 和 landmark LLE 以实现对流数据和大型数据集的可扩展性。
• 讨论加权 LLE 以及与 Isomap 等方法的融合，以获得更强的嵌入效果。

实验结果

研究问题

• RQ1 如何将 LLE 扩展到核空间与特征融合，以改进非线性流形嵌入？
• RQ2 对于大规模或流数据，哪些 out-of-sample 扩展、增量方法和 landmark 策略是有效的？
• RQ3 如何对 LLE 的监督和半监督变体进行建模与优化？
• RQ4 哪些方法能在基于 LLE 的嵌入中提供对噪声和离群值的鲁棒性？
• RQ5 如何将 LLE 与其他流形学习方法及加权变体结合以提升性能？

主要发现

• LLE 通过从 k-NN 学习重构权重并在嵌入空间重复使用来保留局部结构。
• Kernel LLE 将该方法扩展到高维特征空间，通过在核空间执行重构。
• out-of-sample 扩展包括线性重构、基于特征函数的映射和基于核的映射，使新数据能够被嵌入。
• Incremental 和 landmark LLE 通过在线或 Nyström 基于策略，使流式和超大数据集的嵌入成为可能。
• 监督、半监督和鲁棒变体解决了带标签数据的引导以及噪声/离群值较多的场景。
• 将 LLE 与 Isomap、PCA 和判别技术融合，产生如 ISOLLE 和判别 LLE 等混合方法。