[论文解读] Geometry-Aware Generative Autoencoders for Warped Riemannian Metric Learning and Generative Modeling on Data Manifolds

Xingzhi Sun, Danqi Liao+8 more|arXiv (Cornell University)|Oct 16, 2024

Morphological variations and asymmetry被引用 4

一句话总结

该论文提出了几何感知生成自编码器（GAGA），一种将流形学习与生成建模相结合的框架，通过在数据空间中学习一种扭曲的黎曼度量，同时利用流形上和流形外的点，实现对数据几何结构的感知。GAGA 支持几何感知的数据生成、测地线插值和群体迁移，相较于最先进方法，在真实生物数据集的单细胞轨迹推断任务中实现了 30% 的性能提升。

ABSTRACT

Rapid growth of high-dimensional datasets in fields such as single-cell RNA sequencing and spatial genomics has led to unprecedented opportunities for scientific discovery, but it also presents unique computational and statistical challenges. Traditional methods struggle with geometry-aware data generation, interpolation along meaningful trajectories, and transporting populations via feasible paths. To address these issues, we introduce Geometry-Aware Generative Autoencoder (GAGA), a novel framework that combines extensible manifold learning with generative modeling. GAGA constructs a neural network embedding space that respects the intrinsic geometries discovered by manifold learning and learns a novel warped Riemannian metric on the data space. This warped metric is derived from both the points on the data manifold and negative samples off the manifold, allowing it to characterize a meaningful geometry across the entire latent space. Using this metric, GAGA can uniformly sample points on the manifold, generate points along geodesics, and interpolate between populations across the learned manifold using geodesic-guided flows. GAGA shows competitive performance in simulated and real-world datasets, including a 30% improvement over the state-of-the-art methods in single-cell population-level trajectory inference.

研究动机与目标

• 为解决在高维生物数据集中生成尊重复杂非线性数据几何结构的数据的挑战。
• 实现沿测地线的有意义插值，以建模如发育等连续生物过程。
• 通过测地线引导的流，实现实验条件或时间点之间的群体迁移。
• 通过体积感知采样，克服单细胞和空间多组学数据中的数据不平衡与稀疏性问题。
• 将流形学习、度量学习与生成建模统一为一个统一的、几何感知的框架。

提出的方法

• GAGA 训练一个神经网络自编码器，将数据嵌入到保留内在流形距离的潜在空间中。
• 通过对比流形上的点与流形外的负样本，学习一种扭曲的拉回黎曼度量，惩罚那些离开数据密度区域的路径。
• 该扭曲度量源自编码器映射的微分，从而在原始数据空间中诱导出一个黎曼结构。
• 该框架利用此度量在流形上执行均匀采样，沿测地线生成点，并通过测地线流实现群体迁移。
• 在训练过程中采用距离匹配损失，使潜在空间中的距离与数据流形上的测地线距离对齐。
• 该方法可泛化至未见的数据点，并保留如 PHATE 和 HeatGeo 等底层降维技术的几何结构。

实验结果

研究问题

• RQ1 能否设计一种生成模型，使其即使在稀疏或噪声区域，也能尊重高维数据流形的内在几何结构？
• RQ2 如何学习一种黎曼度量，使测地线路径能保持在数据密集区域，同时避免虚假路径？
• RQ3 统一框架在复杂生物流形上实现数据生成与轨迹推断的能力在多大程度上得以实现？
• RQ4 将流形外的负样本整合到度量学习中，能否提升数据流形建模中度量学习的鲁棒性与泛化能力？
• RQ5 与局部度量或密度正则化度量相比，该扭曲的黎曼度量在合成与真实流形上对测地线精度的保持效果如何？

主要发现

• 在单细胞 RNA-seq 数据集上，GAGA 在群体水平轨迹推断准确率方面相比最先进方法实现了 30% 的性能提升。
• 在噪声单细胞数据上，GAGA 在保留流形结构方面优于标准自编码器，尤其在噪声增加时表现更优（以 DEMaP 评分衡量）。
• 通过体积引导的生成，GAGA 生成的点分布密度与真实体积元素高度相关，有效纠正了原始数据中观察到的数据不平衡问题。
• 在如马鞍面和抛物面等人工流形上，GAGA 学习到的测地线路径与真实测地线高度吻合，优于局部度量和密度正则化基线方法。
• 在真实 scRNA-seq 数据中，GAGA 的潜在嵌入保留了局部聚类和全局分支结构，例如在 27 天内类胚体分化的动态过程。
• 在左一个时间点留一预测任务中，GAGA 展现出鲁棒性，能够通过测地线插值准确重建缺失时间点的群体。