[论文解读] Learning Manifold Dimensions with Conditional Variational Autoencoders

Yijia Zheng, Tong He+2 more|arXiv (Cornell University)|Feb 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

论文证明 VAE 和 CVAE 全局极小可以学习真实数据流形的维数，并将该结果推广到具有离散/连续条件的 CVAE，在合成数据和真实数据实验中得到支持。

ABSTRACT

Although the variational autoencoder (VAE) and its conditional extension (CVAE) are capable of state-of-the-art results across multiple domains, their precise behavior is still not fully understood, particularly in the context of data (like images) that lie on or near a low-dimensional manifold. For example, while prior work has suggested that the globally optimal VAE solution can learn the correct manifold dimension, a necessary (but not sufficient) condition for producing samples from the true data distribution, this has never been rigorously proven. Moreover, it remains unclear how such considerations would change when various types of conditioning variables are introduced, or when the data support is extended to a union of manifolds (e.g., as is likely the case for MNIST digits and related). In this work, we address these points by first proving that VAE global minima are indeed capable of recovering the correct manifold dimension. We then extend this result to more general CVAEs, demonstrating practical scenarios whereby the conditioning variables allow the model to adaptively learn manifolds of varying dimension across samples. Our analyses, which have practical implications for various CVAE design choices, are also supported by numerical results on both synthetic and real-world datasets.

研究动机与目标

• 证明全局最优的 VAE 能够在低维流形上的数据中恢复真实的数据流形维度 r。
• 将维度恢复结果扩展到具有连续和离散条件变量的 CVAE（流形的并集）。
• 分析实际 CVAE 设计选择（解码器方差处理、权重共享）及其对学习流形维度的影响。
• 提供关于合成数据和真实数据集的数值证据以验证理论主张。

提出的方法

• 定义 kappa-simple VAE 与 CVAE，使用高斯编码器/解码器和高斯先验。
• 证明当数据位于 Rd 的 r 维流形上时，全局 VAE 最小值使用恰好 r 个活动潜变量维度，且解码器方差 gamma → 0 时重构误差趋于零。
• 将分析扩展到 CVAEs，当条件变量 c 的有效维度为 t 时，活动维度缩减为 r−t。
• 讨论面向流形并集的自适应活动维度以及离散或连续条件变量场景。
• 探讨 CVAE 的设计选择，如条件与无条件先验、gamma 初始值、编码器/先验权重共享，以及它们在理论与经验中的含义。
• 提供合成数据与真实数据实验（MNIST、Fashion-MNIST）以印证理论。

实验结果

研究问题

• RQ1 全局极小是否能从位于 r 维流形上的数据中恢复真实的流形维度 r？
• RQ2 在 CVAEs 中，条件变量（连续或离散）如何影响学到的流形维度与重构能力？
• RQ3 哪些实际的 CVAE 设计选择（解码器方差处理、先验/编码器权重共享）会影响学习流形维度的能力？
• RQ4 CVAEs 是否能够自适应地在样本或区域间学习不同的流形维度（流形的并集）？

主要发现

• kappa-simple VAE 的全局极小能够恢复流形维度 r；活动潜变量维度的数量几乎必然等于 r。
• 重构误差在 O(gamma) 量级，而损失包含 (d−r) log gamma，表明 gamma→0 时的维度学习行为。
• 在 CVAEs 中，当条件变量的有效维度为 t 时，所需的活动潜在维度降至 r−t。
• 对于流形的并集，使用合适的架构（如解码器中的注意力机制）可在区域间自适应地学习不同的活动维度。
• 某些设计选择（忽略条件先验、gamma 初始化、权重共享）显著影响优化与维度恢复，具有理论与经验支持。
• 对合成数据与 MNIST/Fashion-MNIST 的实证结果符合理论预测，AD（活动维度）在适当情况下与 r 或 r−t 相匹配。