[论文解读] Information Constraints on Auto-Encoding Variational Bayes

Romain Lopez, Jeffrey Regier+2 more|arXiv (Cornell University)|May 22, 2018

Machine Learning and Data Classification参考文献 47被引用 65

一句话总结

介绍了 HSIC-约束的 VAEs（HCV），通过使用 dHSIC 对聚合后验的依赖进行惩罚，以强制潜在成分之间的独立性，应用于可解释、不变和去噪表示，包括 scRNA-seq 分析。

ABSTRACT

Parameterizing the approximate posterior of a generative model with neural networks has become a common theme in recent machine learning research. While providing appealing flexibility, this approach makes it difficult to impose or assess structural constraints such as conditional independence. We propose a framework for learning representations that relies on Auto-Encoding Variational Bayes and whose search space is constrained via kernel-based measures of independence. In particular, our method employs the $d$-variable Hilbert-Schmidt Independence Criterion (dHSIC) to enforce independence between the latent representations and arbitrary nuisance factors. We show how to apply this method to a range of problems, including the problems of learning invariant representations and the learning of interpretable representations. We also present a full-fledged application to single-cell RNA sequencing (scRNA-seq). In this setting the biological signal is mixed in complex ways with sequencing errors and sampling effects. We show that our method out-performs the state-of-the-art in this domain.

研究动机与目标

• 说明潜在表示在超越传统图模型约束之外需要具备特定独立性特性的动机。
• 提出一种框架，使用基于核的依赖性度量来约束 VAE 的聚合后验。
• 通过对 ELBO 加上与潜在子集之间的 HSIC 成正比的惩罚，提出 HSIC-constrained VAE (HCV)。
• 在学习可解释表示、不变表示以及对单细胞RNA测序数据去噪的任务上演示该方法。

提出的方法

• 回顾变分自编码器 (VAE) 及聚合后验 q_hat_phi(Z) 作为数据上的混合。
• 引入 HSIC 及其 d-variate 泛化 (dHSIC) 作为基于核的依赖性度量。
• 通过对 ELBO 加上与所选潜在分量（以及可选的无关因素）之间的 HSIC 成正比的惩罚，来定义 HSIC-constrained VAE (HCV)。
• 将惩罚解释为对对数似然的下界，并强调对 HSIC 的 minibatch 兼容估计。
• 说明在某些核选择下，HSIC 惩罚可以包含并关联到现有的不变性方法（如基于 MMD 的方法）。
• 说明训练和计算方面的注意事项，包括核的选择、批处理设置，以及对变分后验的影响。

实验结果

研究问题

• RQ1 基于 HSIC 的惩罚是否能在 VAE 的潜在坐标之间强制实现所需的独立性？
• RQ2 在表示质量和重建方面，HCV 与现有的解耦/不变性方法（如 beta-VAE、beta-TCVAE、VFAE）相比如何？
• RQ3 HCV 是否能改善实际数据中的可解释因子发现、不受干扰因素影响的不变性和去噪等下游任务？
• RQ4 HSIC 惩罚对 ELBO、聚合后验中的相关性及计算效率的影响是什么？
• RQ5 HCV 在复杂生物数据（如单细胞 RNA 测序）用于去噪和假设检验的表现如何？

主要发现

• 在一个线性高斯设定中，HCV 获得更高的 ELBO 值（更好的模型拟合），同时在聚合后验中的依赖性更低（以 HSIC 衡量），相较于基线如 beta-VAE 和 beta-TCVAE。
• 在可解释表示学习方面，基于 HSIC 的惩罚在重建质量与独立性之间提供了相对有利的权衡，相较于现有的解耦方法。
• 在含光照污染的人脸数据的不变表示学习中，HCV 产生的表示对干扰光照更加不变，同时保留身份信息。
• 在 scRNA-seq 去噪中，HCV 降低了潜在空间对质量控制无关性度量的依赖，并在贝叶斯假设检验性能上有所提升（通过 IDR 与微阵列结果的相关性更高），相比 scVI，表明潜在因子更具生物学可解释性。
• 总体而言，HSIC 惩罚提供了一种可扩展、与 minibatch 兼容的方式来在潜在表示中强制独立性，而无需要求完整的联合分布估计。