[论文解读] Manifold Learning with Sparse Regularised Optimal Transport

Stephen X. Zhang, Gilles Mordant+2 more|arXiv (Cornell University)|Jul 19, 2023

Gaussian Processes and Bayesian InferenceComputer Science被引用 3

一句话总结

本文提出一种稀疏正则化最优传输方法用于流形学习，通过使用二次正则化将代价矩阵对称地投影到双随机流形上，构建出鲁棒且自适应的亲和矩阵。所得核在连续极限下一致逼近拉普拉斯型算子，在噪声高、维度高的数据中（包括单细胞RNA测序和MNIST数据集）表现优于k-NN和熵正则最优传输。

ABSTRACT

Manifold learning is a central task in modern statistics and data science. Many datasets (cells, documents, images, molecules) can be represented as point clouds embedded in a high dimensional ambient space, however the degrees of freedom intrinsic to the data are usually far fewer than the number of ambient dimensions. The task of detecting a latent manifold along which the data are embedded is a prerequisite for a wide family of downstream analyses. Real-world datasets are subject to noisy observations and sampling, so that distilling information about the underlying manifold is a major challenge. We propose a method for manifold learning that utilises a symmetric version of optimal transport with a quadratic regularisation that constructs a sparse and adaptive affinity matrix, that can be interpreted as a generalisation of the bistochastic kernel normalisation. We prove that the resulting kernel is consistent with a Laplace-type operator in the continuous limit, establish robustness to heteroskedastic noise and exhibit these results in numerical experiments. We identify a highly efficient computational scheme for computing this optimal transport for discrete data and demonstrate that it outperforms competing methods in a set of examples.

研究动机与目标

• 为解决现代数据科学与生物学中常见的从高维、噪声数据中学习低维流形的挑战。
• 克服标准k-NN和熵正则最优传输在构建流形学习亲和矩阵方面的局限性。
• 通过带二次正则化的最优传输，开发一种对称、稀疏且自适应的亲和矩阵，推广双随机核归一化。
• 建立所得核在连续极限下与拉普拉斯型算子的理论一致性。
• 在真实数据集（如单细胞RNA-seq和MNIST）中展示对异方差噪声的鲁棒性及性能提升。

提出的方法

• 该方法从环境空间中成对欧几里得距离构建代价矩阵 $ C_{ij} = \frac{1}{2}\|x_i - x_j\|_2^2 $。
• 应用带二次正则化的对称最优传输投影，强制行和列和相等，从而生成稀疏且自适应的亲和矩阵。
• 所得核被解释为双随机核归一化的推广，平衡局部几何与全局结构。
• 该方法基于Sinkhorn-Knopp迭代并引入二次惩罚，采用计算高效的算法以确保稀疏性与稳定性。
• 利用亲和矩阵定义离散拉普拉斯算子 $ \Delta^D $，进而用于谱嵌入与下游分析。
• 理论分析表明，该核在连续极限下收敛至拉普拉斯型算子，确保几何一致性。

Figure 1 : Spiral with non-uniform noise. (a) Clean points ( $N=1000$ ) sampled from spiral in 3 dimensions. (b) Points embedded in 100 dimensions subjected to non-uniform noise in high dimension. (c) Spectral embedding error (measured in terms of subspace angle) for the spectral embeddings obtained

实验结果

研究问题

• RQ1 如何将最优传输方法调整以在高维、噪声数据中构建用于流形学习的稀疏、对称且自适应的亲和矩阵？
• RQ2 所提出的正则化最优传输核与潜在流形上的拉普拉斯-贝尔特拉米算子之间存在何种理论关联？
• RQ3 与标准k-NN和熵正则最优传输相比，该方法在异方差噪声下的表现如何？
• RQ4 尽管k-NN在实践中是标准方法，为何该方法在单细胞RNA-seq和图像数据中仍优于k-NN和熵正则OT？
• RQ5 该方法的有限样本行为如何？在哪些场景下可能失效或表现次优？

主要发现

• 所提出的稀疏正则化最优传输（QOT）核在MNIST和单细胞RNA-seq数据的谱聚类任务中始终优于k-NN和熵正则最优传输。
• 在MNIST数据集中，QOT在不同 $ \varepsilon $ 和主成分设置下，谱聚类的标准化互信息均高于k-NN和熵正则核。
• 在单细胞RNA-seq数据中，QOT在谱嵌入中正确将谱系分支终点识别为远离起始细胞的位置，与RNA速度预测一致，而k-NN和EOT未能捕捉某些谱系。
• 理论分析确认QOT核在连续极限下收敛至拉普拉斯型算子，确保几何一致性。
• 该方法对异方差噪声具有鲁棒性，在k-NN和EOT性能下降时仍保持稳定。
• QOT的计算方案高效且可扩展，可实际应用于大规模数据集（如5,000细胞的单细胞RNA-seq）。

Figure 2 : Gaussian mixture model. (a-c) $N=750$ points sampled from a mixture of 3 Gaussians (250 points each) in $d=10$ dimensions, coloured by their true labels, with weighted graphs corresponding to the QOT, EOT and $k$ -NN kernels respectively. Inset: the values of the second smallest eigenvect