[论文解读] Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering

Xiaopeng Li, Zhourong Chen+2 more|arXiv (Cornell University)|Mar 14, 2018

Generative Adversarial Networks and Image Synthesis被引用 24

一句话总结

本文提出潜在树变分自编码器（LTVAE），一种深度生成模型，通过在潜在变量上学习分层的树状超结构，实现多维聚类。与以往仅学习单一划分的方法不同，LTVAE基于潜在特征的子集发现多个可解释的聚类，通过梯度下降和分步EM的端到端训练，在聚类准确率方面达到最先进水平（例如，MNIST数据集上为86.32%），并揭示了有意义的多方面数据结构。

ABSTRACT

We investigate a variant of variational autoencoders where there is a superstructure of discrete latent variables on top of the latent features. In general, our superstructure is a tree structure of multiple super latent variables and it is automatically learned from data. When there is only one latent variable in the superstructure, our model reduces to one that assumes the latent features to be generated from a Gaussian mixture model. We call our model the latent tree variational autoencoder (LTVAE). Whereas previous deep learning methods for clustering produce only one partition of data, LTVAE produces multiple partitions of data, each being given by one super latent variable. This is desirable because high dimensional data usually have many different natural facets and can be meaningfully partitioned in multiple ways.

研究动机与目标

• 为解决现有深度聚类方法仅能学习数据单一扁平划分的局限性。
• 通过学习离散潜在变量的树状层次结构，对高维数据进行多自然特征建模。
• 以无监督方式联合执行表征学习与结构发现。
• 通过学习潜在特征之间的依赖关系，实现结构化数据生成与条件采样。
• 通过贝叶斯网络结构建模潜在变量之间的相关性，提升聚类性能。

提出的方法

• LTVAE通过在主潜在特征之上引入离散超潜在变量的树状贝叶斯网络，扩展了变分自编码器。
• 每个超潜在变量定义一个独特的聚类特征，使用潜在特征的子集来生成每个簇。
• 该模型采用生成过程：数据通过深度神经网络从潜在特征采样，而潜在特征本身又由树状超结构生成。
• 通过分步EM与消息传递进行结构学习，实现树拓扑与聚类分配的自动发现。
• 通过带变分推理目标的梯度下降实现端到端训练，包括重构损失和KL散度项。
• 使用祖先采样与特定分量采样进行结构化图像生成，实现对语义属性的控制。

实验结果

研究问题

• RQ1 深度生成模型能否学习高维数据的多个可解释聚类，每个聚类对应不同的语义特征？
• RQ2 如何从数据中自动学习离散潜在变量的分层超结构，以建模复杂且多方面的数据结构？
• RQ3 与独立或扁平聚类假设相比，建模潜在特征之间的依赖关系是否能提升数据似然度与聚类性能？
• RQ4 所学习的潜在树结构能否实现有意义的结构化数据生成与条件采样？
• RQ5 与假设单一划分的现有深度聚类方法相比，LTVAE在聚类准确率与可解释性方面表现如何？

主要发现

• 在MNIST数据集上，LTVAE实现了86.32%的聚类准确率，优于以往最先进方法。
• 当潜在维数为20时，LTVAE发现了多个不同的特征：在MNIST中，一个特征按数字身份分离，另一个则按形状与姿态分组。
• 在STL-10数据集上，发现了四个不同的特征，每个特征强调不同的视觉属性，如正面视图、眼睛可见性，或动物的鹿角/耳朵存在性。
• 该模型揭示了可解释的聚类：STL-10中特征1按物体类型分组图像，而特征3与4则按整体视觉感受分组图像，尽管物体类型不同。
• 条件图像生成实验表明，从特定组件采样可生成语义一致的数字，而标准VAE则缺乏此类结构。
• 实验表明，若移除超潜在变量之间的依赖关系，数据对数似然度会下降，证实了树状超结构的重要性。