[论文解读] Identifiability of deep generative models without auxiliary information

Bohdan Kivva, Goutham Rajendran+2 more|arXiv (Cornell University)|Jun 20, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文证明了深度生成模型的可识别性——具体而言，是具有混合先验和ReLU/LeakyReLU编码器的变分自编码器——在无需辅助信息、弱监督或潜在空间条件化的情况下实现可识别性。作者证明，在广泛假设下，此类模型可识别至仿射变换，解决了长期存在的开放问题，并在合成数据和真实世界数据（如MNIST）中展示了稳定且可复现的表征，而无需额外信息。

ABSTRACT

We prove identifiability of a broad class of deep latent variable models that (a) have universal approximation capabilities and (b) are the decoders of variational autoencoders that are commonly used in practice. Unlike existing work, our analysis does not require weak supervision, auxiliary information, or conditioning in the latent space. Specifically, we show that for a broad class of generative (i.e. unsupervised) models with universal approximation capabilities, the side information $u$ is not necessary: We prove identifiability of the entire generative model where we do not observe $u$ and only observe the data $x$. The models we consider match autoencoder architectures used in practice that leverage mixture priors in the latent space and ReLU/leaky-ReLU activations in the encoder, such as VaDE and MFC-VAE. Our main result is an identifiability hierarchy that significantly generalizes previous work and exposes how different assumptions lead to different "strengths" of identifiability, and includes certain "vanilla" VAEs with isotropic Gaussian priors as a special case. For example, our weakest result establishes (unsupervised) identifiability up to an affine transformation, and thus partially resolves an open problem regarding model identifiability raised in prior work. These theoretical results are augmented with experiments on both simulated and real data.

研究动机与目标

• 为解决在医疗和金融等高风险应用中深度生成模型的模型可识别性这一关键挑战。
• 确定在无辅助变量或弱监督的情况下，可识别性是否可在无监督深度生成模型中实现。
• 为VaDE和MFC-VAE等模型中观察到的经验证据稳定性提供理论依据，尽管缺乏额外信息。
• 在不同假设下建立可识别性强度的层次结构，推广先前结果。

提出的方法

• 作者分析了一类深度潜在变量模型，其中数据x通过分段仿射解码器f(z) + ε生成，z从高斯混合先验中抽取。
• 他们考虑具有通用近似能力的模型，编码器中使用ReLU或LeakyReLU激活函数，潜在空间中使用混合先验。
• 分析证明，在最小假设下，无需观测到的辅助信息u或潜在空间中的条件独立性，即可实现仿射变换下的可识别性。
• 通过合成数据（随机平行四边形）和真实数据（MNIST）的实验验证了理论框架，使用MCC和仿射距离等指标。
• 该方法采用强弱最大协方差分量（MCC）分析，评估在多次随机初始化下潜在空间的稳定性。
• 作者将无辅助信息的MFC-VAE与使用真实标签作为辅助信息的iVAE进行比较，展示了其具有竞争力的稳定性。

实验结果

研究问题

• RQ1 在缺乏辅助信息或弱监督的情况下，深度生成模型是否仍可识别？
• RQ2 在模型架构和先验分布上需满足何种条件，才能在无监督设置下实现可识别性？
• RQ3 在不同假设（如混合先验和ReLU激活）下，可识别性的强度如何变化？
• RQ4 VaDE和MFC-VAE等模型在缺乏辅助信息的情况下，能在多大程度上实现稳定且可复现的表征？
• RQ5 即使缺乏真实标签，MFC-VAE等模型的经验证据稳定性是否具有理论基础？

主要发现

• 本文证明，具有混合先验和ReLU/LeakyReLU编码器的深度生成模型，在无需任何辅助信息的情况下，可识别至仿射变换，解决了长期存在的开放问题。
• 在具有3个聚类的合成数据上，MFC-VAE实现了平均弱MCC为0.99（±0.003），表明在多次运行中具有高度稳定性。
• 在MNIST数据上，每种架构运行10次，MFC-VAE在ReLU设置下实现平均弱MCC为0.91（±0.05），在LeakyReLU设置下为0.94（±0.02），尽管缺乏真实标签，其性能在某些设置下优于iVAE。
• dist_Aff,L2指标在合成数据上表现出较低值（如0.1231 ± 0.076），证实恢复的表征接近真实潜在空间的仿射变换。
• 结果表明，MFC-VAE和VaDE等模型在无辅助信息的情况下仍能实现具有竞争力的稳定性和表征一致性，支持其在真实世界应用中的使用。
• 理论可识别性层次结构将具有各向同性高斯先验的普通VAE作为特例，表明其具有广泛适用性。