[论文解读] A Heat Diffusion Perspective on Geodesic Preserving Dimensionality Reduction

Guillaume Huguet, Alexander Tong+5 more|arXiv (Cornell University)|May 30, 2023

Cancer-related molecular mechanisms research被引用 4

一句话总结

本文提出了一种新颖的降维方法——热测地线嵌入（Heat Geodesic Embeddings），该方法利用Varadhan公式，直接将热扩散与流形上的测地线距离关联起来。通过基于热核的相异度度量和多维缩放（MDS）技术，该方法在单细胞RNA-seq等高维、噪声较大的数据中，比最先进的技术（如PHATE和t-SNE）更忠实地保留了流形的内在结构，从而实现了对时间轨迹的精确插值。

ABSTRACT

Diffusion-based manifold learning methods have proven useful in representation learning and dimensionality reduction of modern high dimensional, high throughput, noisy datasets. Such datasets are especially present in fields like biology and physics. While it is thought that these methods preserve underlying manifold structure of data by learning a proxy for geodesic distances, no specific theoretical links have been established. Here, we establish such a link via results in Riemannian geometry explicitly connecting heat diffusion to manifold distances. In this process, we also formulate a more general heat kernel based manifold embedding method that we call heat geodesic embeddings. This novel perspective makes clearer the choices available in manifold learning and denoising. Results show that our method outperforms existing state of the art in preserving ground truth manifold distances, and preserving cluster structure in toy datasets. We also showcase our method on single cell RNA-sequencing datasets with both continuum and cluster structure, where our method enables interpolation of withheld timepoints of data. Finally, we show that parameters of our more general method can be configured to give results similar to PHATE (a state-of-the-art diffusion based manifold learning method) as well as SNE (an attraction/repulsion neighborhood based method that forms the basis of t-SNE).

研究动机与目标

• 建立热扩散与黎曼流形上测地线距离之间的理论联系。
• 基于热核理论，开发一种显式保留测地线距离的新降维方法。
• 提供一个统一框架，从测地线保持与去噪的角度，解释并推广现有的基于扩散的方法（如PHATE和t-SNE）。
• 通过保留底层流形结构，实现对单细胞RNA-seq数据中缺失时间点的精确插值。
• 提供一个理论基础坚实、参数可配置的通用方法，用于平衡局部与全局结构以及噪声鲁棒性。

提出的方法

• 基于Varadhan公式，提出一种基于热-测地线的相异度度量，该公式在短时间极限下将热核的对数与平方测地线距离关联起来。
• 利用热核构建一个近似于底层流形真实测地线距离的距离矩阵。
• 应用多维缩放（MDS）将数据嵌入低维空间，同时保留热-测地线相异度。
• 引入Harnack正则化，并采用高效的热核近似方法（欧拉法与切比雪夫法），以提升数值稳定性和可扩展性。
• 通过调节扩散时间、邻居数和近似阶数等超参数，控制局部与全局结构之间的平衡。
• 证明通过调整相异度函数和损失函数，该方法可被调校为产生与PHATE（基于扩散）或t-SNE（基于吸引/排斥力）相似的结果。

实验结果

研究问题

• RQ1 热扩散能否在黎曼流形上与测地线距离建立理论联系？若能，如何利用该联系改进降维方法？
• RQ2 所提出的热测地线嵌入方法在保留真实流形距离方面，与现有方法（如PHATE和t-SNE）相比表现如何？
• RQ3 该方法在多大程度上可通过保留流形结构，实现对单细胞RNA-seq数据中缺失时间点的插值？
• RQ4 关键超参数（如扩散时间、邻居数、Harnack正则化、近似阶数）如何影响嵌入质量？
• RQ5 通过参数调优，该方法能否被配置为重现PHATE和t-SNE等现有最先进方法的行为？

主要发现

• 在高噪声、扩散时间0.5的瑞士卷数据集上，热测地线嵌入在保留真实测地线距离方面优于最先进方法，平均相关系数达0.605±0.093。
• 在树状数据集上，热测地线嵌入与真实距离的相关系数为0.784±0.051，显著优于PHATE（0.550±0.042）和t-SNE（0.706±0.054）。
• 该方法通过保留流形结构，能够实现对单细胞RNA-seq数据中缺失时间点的精确插值，展示了其在发育生物学应用中的实用性。
• Harnack正则化显著提升了在高噪声环境下的稳定性与与真实距离的相关性，这一结论在消融研究中得到验证。
• 通过调整热核相异度和损失函数，该方法可被调校为产生与PHATE和t-SNE相似的结果，证明了其对现有方法的理论统一性。
• 在不同图构建方法（kNN、UMAP、Scanpy）下，该方法在10维瑞士卷数据集上均表现出一致的性能，表明其具备良好的泛化能力。