[论文解读] Autoencoding topology

Eric O. Korman|arXiv (Cornell University)|Mar 1, 2018

Topological and Geometric Data Analysis参考文献 5被引用 7

一句话总结

该论文提出了一种深度学习框架，通过训练自编码器生成图表的图册来学习流形的拓扑结构，采用基于Wasserstein GAN的损失函数的对抗性自编码器。该方法同时实现降维和模糊聚类，通过重叠图表的Čech复形恢复同调等拓扑不变量，在合成流形和MNIST数据集上使用线性与非线性编码器均得到验证。

ABSTRACT

The problem of learning a manifold structure on a dataset is framed in terms of a generative model, to which we use ideas behind autoencoders (namely adversarial/Wasserstein autoencoders) to fit deep neural networks. From a machine learning perspective, the resulting structure, an atlas of a manifold, may be viewed as a combination of dimensionality reduction and "fuzzy" clustering.

研究动机与目标

• 开发一种深度学习方法，从独立同分布样本中学习流形的图册，将图册视为生成模型。
• 通过从重叠图表构建Čech复形，实现从数据中进行拓扑推断，当图册构成良好覆盖时可恢复同伦型。
• 在单一可微分框架中统一降维（单张图表）与聚类（非重叠图表），使用概率编码器和解码器。
• 提供一种稳健的可微分方法，用于无监督表征学习，支持数据重建与合成数据生成。

提出的方法

• 该方法将流形建模为生成模型，其潜在空间为Z×{1,…,k}，其中k为图表数量，并在潜在变量上使用均匀先验。
• 采用对抗性自编码器（AAE），并引入基于Wasserstein GAN的惩罚项，以最小化数据分布与解码器生成分布之间的2- Wasserstein距离。
• 通过训练编码器网络q(Z|J,X)和图表隶属度网络q(J|X)，将每个数据点分配至特定图表及其潜在表示，采用通过学习的逆映射ψj进行确定性推理。
• 利用后验分布之间的Jensen-Shannon散度以及基于期望后验概率的重叠度量u_j0j1来量化图表之间的重叠。
• 通过在ε处对重叠度量u_j0…jℓ进行阈值化，构建Čech复形，形成一个单纯复形，其同调随ε变化而研究——类似于持久同调。
• 为可视化与分析，从每张图表的解码器生成图像，并根据u_j0j1的大小绘制重叠图表之间的边，边的粗细与重叠程度成正比。

实验结果

研究问题

• RQ1 深度神经网络能否通过将问题建模为生成模型，从i.i.d.样本中学习流形的图册？
• RQ2 在使用Čech复形构造从推断出的图册中，流形的拓扑结构（特别是其同伦型）在多大程度上可被恢复？
• RQ3 在实现良好拓扑近似时，线性与非线性编码器的选择如何影响所需图表数量？
• RQ4 所提出的框架能否在可微分的生成框架中同时实现降维与模糊聚类？
• RQ5 拓扑推断（如同调恢复）对重叠阈值ε和图表重叠估计方法的变化有多大的鲁棒性？

主要发现

• 该方法成功恢复了嵌入ℝ⁴中的实射影平面的首阶同调群H₁(ℝP²; ℤ) ≅ ℤ/2，且在不同ε值下同调模式与理论预期一致。
• 在MNIST数据集中，非线性编码器仅需15张图表即可实现良好的重建与生成质量，而线性编码器则需40–120张图表，表明非线性性可提升拓扑效率。
• 基于重叠度量u_j0j1的Čech复形构造成功捕捉了拓扑特征：当logε = -5时，一维骨架显示出H₁ ≅ ℤ/2（蓝色）和H₁ ≅ ℤ^factor（红色），与底层空间的拓扑一致。
• 基于期望后验概率的重叠度量（u_j0j1）为图表交集提供了稳健且可微分的代理，实现了稳定的单纯复形构建。
• 一维骨架的可视化揭示了有意义的图表重叠模式，边越粗表示重叠越高，且每张图表的解码器生成的图像呈现出连贯且可解释的数字结构。
• 该框架同时支持重建与生成：重建结果准确（如图5和图6所示），且从潜在变量采样生成的图像逼真，尤其在使用非线性编码器时表现更优。