[论文解读] Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders

Matthew Willetts, Stephen Roberts+1 more|arXiv (Cornell University)|Sep 25, 2019

Bayesian Methods and Mixture Models参考文献 31被引用 4

一句话总结

该论文提出VLAC（变分梯度自编码器），在每一层潜在空间中引入高斯混合成分，以实现解耦聚类——不同层捕捉不同的聚类因子，如数字身份或颜色。在SVHN数据集上，其测试聚类准确率达到0.378，显著高于单层高斯混合DGM模型的0.252，表明在解耦表征中进行分层聚类可提升性能。

ABSTRACT

In clustering we normally output one cluster variable for each datapoint. However it is not necessarily the case that there is only one way to partition a given dataset into cluster components. For example, one could cluster objects by their colour, or by their type. Different attributes form a hierarchy, and we could wish to cluster in any of them. By disentangling the learnt latent representations of some dataset into different layers for different attributes we can then cluster in those latent spaces. We call this "disentangled clustering". Extending Variational Ladder Autoencoders (Zhao et al., 2017), we propose a clustering algorithm, VLAC, that outperforms a Gaussian Mixture DGM in cluster accuracy over digit identity on the test set of SVHN. We also demonstrate learning clusters jointly over numerous layers of the hierarchy of latent variables for the data, and show component-wise generation from this hierarchical model.

研究动机与目标

• 为解决单变量聚类的局限性，通过在分层潜在层中实现多个解耦聚类因子。
• 通过在解耦表征中学习不同且可解释的聚类组件，而非纠缠的聚类，以提升聚类性能。
• 证明在解耦空间中进行分层聚类优于标准深度生成模型的聚类准确率。

提出的方法

• 通过在每一层潜在变量上引入高斯混合先验，扩展变分梯度自编码器（VLAE），以支持聚类。
• 使用近似变分推断与识别网络，对每一层 $ \ell $ 推断聚类分配 $ y_{\ell} $，实现在测试时的聚类。
• 应用Gumbel-Softmax技巧，对离散聚类变量的期望进行随机估计，而无需对所有组合进行边缘化。
• 实现一个分层生成模型，其中每一层 $ \ell $ 拥有自己的聚类变量 $ y_{\ell} $，包含 $ K_{\ell} $ 个分量，支持逐分量生成。
• 优化一个变分下界，其中包含 $ z_{\ell} $ 和 $ y_{\ell} $ 的后验与先验分布之间的KL散度，以及给定潜在变量下数据的似然。
• 使用卷积和转置卷积网络训练 $ f $ 和 $ g $，并采用固定方差的高斯似然对 $ p(x|z) $ 建模。

实验结果

研究问题

• RQ1 是否能在多个解耦的潜在变量层中有效执行聚类，每一层捕捉不同的数据属性？
• RQ2 与单层模型相比，解耦潜在空间中的分层聚类是否能提升聚类准确率？
• RQ3 该模型能否学习到与真实属性（如数字身份或图像颜色）相对应的有意义聚类组件？
• RQ4 VLAC在SVHN上的性能与当前最先进聚类方法相比如何？
• RQ5 从学习到的聚类组件进行逐分量生成，是否能体现解耦性与可解释性？

主要发现

• 当 $ \mathbf{K^{\text{two}}}} = [1,5,50,1] $ 时，VLAC在测试集上达到0.378的聚类准确率，显著优于单层高斯混合DGM基线模型的0.252。
• 该模型成功将数字身份解耦至层次结构的第三层，聚类组件与真实数字类别对齐。
• 从 $ \ell=2 $ 层进行的逐分量生成揭示了对应于图像色温的独立聚类，表明学习到的因子具有可解释性。
• 当 $ \mathbf{K^{\text{one}}}} = [1,1,50,1] $ 时，VLAC达到0.351的准确率，表明即使增加单一层聚类，性能也优于标准DGM模型。
• 解码器均值的可视化结果表明，同一层中不同的聚类组件会产生语义上有意义的图像差异。
• 结果表明，在解耦表征中进行分层聚类可同时提升性能与可解释性。