[论文解读] Chart Auto-Encoders for Manifold Structured Data

Stefan C. Schonsheck, Jie Chen+1 more|arXiv (Cornell University)|Dec 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 8

一句话总结

本文提出图表自编码器（CAE），一种深度生成模型，其多图表潜在空间受微分几何启发，能够更好地表示流形结构数据。通过使用具有转换函数的重叠局部图表对数据流形进行建模，CAE 保留了拓扑和几何特性（如邻近性和流形保真度），在合成与真实数据集上的重建、潜在空间邻近性以及真实生成方面优于标准自编码器和变分自编码器（VAE）。

ABSTRACT

Deep generative models have made tremendous advances in image and signal representation learning and generation. These models employ the full Euclidean space or a bounded subset as the latent space, whose flat geometry, however, is often too simplistic to meaningfully reflect the manifold structure of the data. In this work, we advocate the use of a multi-chart latent space for better data representation. Inspired by differential geometry, we propose a extbf{Chart Auto-Encoder (CAE)} and prove a universal approximation theorem on its representation capability. We show that the training data size and the network size scale exponentially in approximation error with an exponent depending on the intrinsic dimension of the data manifold. CAE admits desirable manifold properties that auto-encoders with a flat latent space fail to obey, predominantly proximity of data. We conduct extensive experimentation with synthetic and real-life examples to demonstrate that CAE provides reconstruction with high fidelity, preserves proximity in the latent space, and generates new data remaining near the manifold. These experiments show that CAE is advantageous over existing auto-encoders and variants by preserving the topology of the data manifold as well as its geometry.

研究动机与目标

• 为解决自编码器中平坦欧几里得潜在空间的局限性，其无法保留数据流形的内在拓扑与几何结构。
• 开发一种深度生成模型，能够真实表示复杂且非可缩的流形（如双环面），而标准自编码器会扭曲形状与拓扑。
• 通过引入 $b5$-保真表示准则，形式化并量化自编码器对数据流形的近似，以区分几何误差与拓扑误差。
• 证明 CAE 的通用逼近定理，建立训练数据量与网络宽度相对于逼近误差和流形内在维度的理论边界。
• 证明 CAE 能够实现高保真重建，保持潜在空间中的邻近性，并生成仍位于流形上的新数据，而标准 VAE 与自编码器则不能。

提出的方法

• CAE 使用多图表潜在空间，其中数据流形由重叠的局部参数化（图表）覆盖，每个图表通过独立的编码器-解码器对进行映射。
• 每个数据点通过一个学习的图表预测网络分配至一个图表，该网络使用 Softmax 层输出对 N 个图表的概率分布。
• 模型在重叠的图表区域之间使用转换函数，以确保潜在表示在图表边界处的一致性。
• 架构包括一个初始编码器，将输入数据映射到共享潜在空间，随后是针对各图表的编码器与解码器，最终由解码器从图表特定的潜在码重建数据。
• 损失函数结合了重建损失与正则化项，以保持几何保真度，并确保流形上邻近的点在潜在空间中也保持接近。
• 理论分析表明，训练数据量与网络宽度随逼近误差呈指数级增长，其指数取决于数据流形的内在维度。

实验结果

研究问题

• RQ1 具有多图表潜在空间的深度生成模型是否能比具有平坦潜在空间的标准自编码器更好地保留流形结构数据的拓扑与几何结构？
• RQ2 在流形结构数据的 CAE 中，逼近误差、训练数据量与网络宽度之间的理论缩放关系为何？
• RQ3 CAE 中使用重叠图表与转换函数是否能防止生成数据中的几何与拓扑错误（如离群点或不连通分量）？
• RQ4 CAE 在潜在空间中保持邻近数据点之间邻近性的能力，与标准 VAE 和自编码器相比如何？
• RQ5 CAE 是否能生成仍位于流形上的新数据样本，即使在训练数据未覆盖的区域？

主要发现

• CAE 的重建误差显著低于标准自编码器与 VAE，在双环面数据集上的测试损失低至 0.010 ± 0.001。
• 模型在潜在空间中保持了邻近性：流形上邻近的点在潜在空间中也保持接近，避免了平坦潜在空间模型中常见的失真。
• CAE 生成的样本保持在流形上，无几何离群点；而 VAE 与标准自编码器则会产生偏离流形的样本。
• CAE 成功捕捉了双环面的拓扑结构（两个孔），保持了正确的孔数与整体结构，而标准模型无法保留这一拓扑特征。
• 理论分析证实，CAE 的表示能力随逼近误差呈指数级增长，其指数取决于数据流形的内在维度。
• 在 MNIST 数据集上，CAE 的测试损失为 0.0189 ± 0.001，分类准确率为 97% ± 0.01，优于基线模型在重建与下游任务中的表现。