[论文解读] Diffusion Variational Autoencoders.

Henry Li, Ofir Lindenbaum+2 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出扩散变分自编码器（DVAEs），一种生成模型，通过结合扩散图以自动推断数据拓扑结构，并与变分自编码器融合，从而消除对用户指定先验分布的依赖。通过利用扩散图的渐近流形学习保证以及深度生成模型的可扩展性，DVAEs 避免了后验崩溃和模式崩溃，在合成数据集和真实数据集上均实现了更优的生成样本质量和拓扑保真度。

ABSTRACT

Variational autoencoders (VAEs) and generative adversarial networks (GANs) enjoy an intuitive connection to manifold learning: in training the decoder/generator is optimized to approximate a homeomorphism between the data distribution and the sampling space. This is a construction that strives to define the data manifold. A major obstacle to VAEs and GANs, however, is choosing a suitable prior that matches the data topology. Well-known consequences of poorly picked priors are posterior and mode collapse. To our knowledge, no existing method sidesteps this user choice. Conversely, $ extit{diffusion maps}$ automatically infer the data topology and enjoy a rigorous connection to manifold learning, but do not scale easily or provide the inverse homeomorphism (i.e. decoder/generator). We propose a method that combines these approaches into a generative model that inherits the asymptotic guarantees of $ extit{diffusion maps}$ while preserving the scalability of deep models. We prove approximation theoretic results for the dimension dependence of our proposed method. Finally, we demonstrate the effectiveness of our method with various real and synthetic datasets.

研究动机与目标

• 解决VAE和GAN中先验选择这一关键挑战，该问题常导致后验崩溃和模式崩溃。
• 利用扩散图坚实的流形学习基础，自动推断数据拓扑结构，无需用户定义先验。
• 将扩散图的拓扑一致性与深度VAE的可扩展性和生成能力相结合。
• 建立所提方法在维度依赖性方面的理论近似界。
• 在多样化的合成与真实数据集上展示改进的生成性能和拓扑保真度。

提出的方法

• 将扩散图整合进VAE框架，以在无需用户指定先验的情况下推断数据的内在流形结构。
• 使用扩散图嵌入作为反映真实数据拓扑结构的结构化潜在空间。
• 构建一种变分自编码器，其先验由扩散图的转移矩阵隐式定义，避免显式先验设计。
• 采用深度神经网络作为解码器，将扩散嵌入的潜在空间映射回数据空间。
• 推导出依赖于数据流形内在维度的一般化误差的近似理论界。
• 以基于扩散图的先验优化VAE目标函数，实现端到端训练，获得稳定且有意义的潜在表示。

实验结果

研究问题

• RQ1 扩散图能否有效集成进VAE框架，以替代用户指定的先验？
• RQ2 所得到的模型是否能避免标准VAE和GAN中观察到的模式崩溃和后验崩溃？
• RQ3 与标准VAE相比，该方法在多大程度上保持了数据流形的真实拓扑结构？
• RQ4 所提方法的近似误差如何随数据内在维度的变化而变化？
• RQ5 该模型能否在多样化的合成与真实世界数据集上保持样本质量和拓扑保真度的同时实现良好泛化？

主要发现

• 所提出的DVAE通过利用扩散图基于数据结构隐式定义潜在先验，消除了对用户指定先验的需求。
• 与标准VAE相比，该模型在合成数据集和真实世界数据集上均表现出更优的样本质量和更低的模式崩溃。
• 理论分析表明，该方法的近似误差随数据流形内在维度的增加而有利地增长。
• 实证结果证实，DVAE学习到的潜在空间保留了真实数据拓扑结构，生成样本中体现出忠实的流形结构。
• 该方法在保持深度神经网络可扩展性的同时实现了具有竞争力的生成性能，这与传统基于扩散图的方法不同。