[论文解读] Identifiable Variational Autoencoders via Sparse Decoding.

Gemma E. Moran, Dhanya Sridhar+2 more|arXiv (Cornell University)|Oct 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 4

一句话总结

该论文提出稀疏VAE（Sparse VAE），一种深度生成模型，通过强制每个观测特征仅依赖于少数潜在因子，从高维数据中学习可识别的稀疏潜在因子。在弱锚点特征假设下实现可识别性，并在模拟数据和真实世界数据上，其重构精度和因子可解释性均优于现有方法。

ABSTRACT

We develop the Sparse VAE, a deep generative model for unsupervised representation learning on high-dimensional data. Given a dataset of observations, the Sparse VAE learns a set of latent factors that captures its distribution. The model is sparse in the sense that each feature of the dataset (i.e., each dimension) depends on a small subset of the latent factors. As examples, in ratings data each movie is only described by a few genres; in text data each word is only applicable to a few topics; in genomics, each gene is active in only a few biological processes. We first show that the Sparse VAE is identifiable: given data drawn from the model, there exists a uniquely optimal set of factors. (In contrast, most VAE-based models are not identifiable.) The key assumption behind Sparse-VAE identifiability is the existence of features, where for each factor there exists a feature that depends only on that factor. Importantly, the anchor features do not need to be known in advance. We then show how to fit the Sparse VAE with variational EM. Finally, we empirically study the Sparse VAE with both simulated and real data. We find that it recovers meaningful latent factors and has smaller heldout reconstruction error than related methods.

研究动机与目标

• 为解决标准VAE中缺乏可识别性的问题，该问题阻碍了有意义潜在因子的唯一恢复。
• 开发一种模型，学习稀疏、解耦的表征，使得每个数据特征仅依赖于少数潜在因子。
• 确立在无需事先知晓锚点特征的前提下，从数据中唯一识别潜在因子的条件。
• 通过变分EM框架为所提模型提供可扩展的训练过程。
• 通过实证验证模型恢复可解释因子的能力，并在重构性能上优于基线方法。

提出的方法

• 稀疏VAE通过限制每个观测特征仅依赖于潜在因子的少量子集，在解码过程中强制实现稀疏性。
• 在假设中，对于每个潜在因子，至少存在一个特征仅依赖于该因子（即锚点特征），即使这些特征事先未知，也可实现可识别性。
• 模型采用变分EM框架进行训练，交替进行后验推断与模型参数优化。
• 通过结构化先验或优化过程中的正则化，对解码矩阵施加稀疏性约束。
• 模型同时学习稀疏解码权重和潜在变量的后验分布，采用摊销推理。
• 可识别性证明依赖于稀疏性的结构约束以及锚点特征的存在，确保唯一最优分解。

实验结果

研究问题

• RQ1 基于VAE的模型是否可在不依赖已知锚点特征的前提下实现潜在因子的可识别性？
• RQ2 解码过程中的稀疏性如何影响学习到的潜在因子的可解释性与解耦性？
• RQ3 稀疏VAE在高维数据上的重构性能是否优于标准VAE及其他稀疏模型？
• RQ4 数据结构（如锚点特征的存在）在稀疏VAE中实现可识别性的必要与充分条件是什么？
• RQ5 在真实世界数据集（如文本和基因组数据）上，稀疏VAE恢复有意义、可解释因子的能力如何？

主要发现

• 在存在锚点特征的前提下，即使这些特征事先未知，稀疏VAE仍具备可识别性。
• 在模拟数据和真实世界数据上，稀疏VAE的保留数据重构误差均小于相关方法。
• 学习到的潜在因子具有可解释性，每个特征仅依赖少数因子，这在评分、文本和基因组数据的应用中已得到验证。
• 尽管目标函数非凸，变分EM训练过程仍能有效优化模型。
• 实证结果表明，模型能恢复有意义的结构，如电影评分中的类型或文本中的主题，与领域知识一致。
• 可识别性结果在弱假设下成立——仅需锚点特征的存在，而无需其被识别。