[论文解读] Multi-Facet Clustering Variational Autoencoders

Fabian Falck, Haoting Zhang+4 more|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 5

一句话总结

本文提出多面聚类变分自编码器（MFCVAE），一种深度生成模型，通过使用具有独立高斯混合先验的层次化潜在变量，同时学习高维数据的多个解耦聚类。MFCVAE 以端到端无监督方式训练，在 MNIST 数据中同时实现对数字类别和笔画风格等多个数据面的稳定、高性能聚类，同时支持潜在空间中的可控生成与组合性。

ABSTRACT

Work in deep clustering focuses on finding a single partition of data. However, high-dimensional data, such as images, typically feature multiple interesting characteristics one could cluster over. For example, images of objects against a background could be clustered over the shape of the object and separately by the colour of the background. In this paper, we introduce Multi-Facet Clustering Variational Autoencoders (MFCVAE), a novel class of variational autoencoders with a hierarchy of latent variables, each with a Mixture-of-Gaussians prior, that learns multiple clusterings simultaneously, and is trained fully unsupervised and end-to-end. MFCVAE uses a progressively-trained ladder architecture which leads to highly stable performance. We provide novel theoretical results for optimising the ELBO analytically with respect to the categorical variational posterior distribution, correcting earlier influential theoretical work. On image benchmarks, we demonstrate that our approach separates out and clusters over different aspects of the data in a disentangled manner. We also show other advantages of our model: the compositionality of its latent space and that it provides controlled generation of samples.

研究动机与目标

• 解决现有深度聚类方法仅能学习数据单一划分的局限性，即使在高维数据中存在多个有意义的特征（如形状、颜色、风格）时亦如此。
• 开发一种系统化、概率性的深度学习框架，明确在无监督设置下同时对多个抽象数据面进行建模与聚类。
• 实现解耦、可解释的表征，使每个面对应一个独立的聚类结构，从而提升可解释性与下游控制能力。
• 为类别变分后验提供理论严谨的 ELBO 优化方法，修正单一面情况下的先前工作。
• 在 MNIST、SVHN 和 3DShapes 等基准数据集上，展示模型在多面聚类、解耦性、可控生成与样本多样性方面的性能。

提出的方法

• MFCVAE 采用分层变分自编码器架构，每个数据面配备独立的潜在变量，每个潜在变量均配置高斯混合先验（MoG）以建模聚类结构。
• 该模型使用渐进式训练的梯子架构，逐步引入并优化每个面，从而实现高度稳定的训练动态与性能表现。
• 通过联合 ELBO 目标函数建模多个面的 MoG 先验，实现无需监督的端到端训练。
• 推导出针对类别变分后验的新型解析更新公式，修正并扩展了早期理论工作。
• 通过在每个面的特定聚类分配上进行条件采样，实现可控的、解耦的生成，采样过程采用温度缩放策略。
• 通过组合不同面的聚类分配，实现组合式生成，从而生成多样化且可解释的合成样本。

实验结果

研究问题

• RQ1 深度生成模型能否同时学习高维数据的多个解耦聚类，而非仅学习单一划分？
• RQ2 如何设计变分自编码器架构，使其在统一的、可端到端训练的框架中，支持多个独立的高斯混合先验在不同数据面的并行建模？
• RQ3 与单一面基线相比，所提模型在 MNIST 和 SVHN 等基准数据集上是否实现了更优的聚类性能与解耦性？
• RQ4 MFCVAE 在操纵单一面时，能在多大程度上生成多样化、可控且语义有意义的样本？
• RQ5 在缺乏真实标签的情况下，渐进式训练策略如何影响多面聚类的稳定性与收敛性？

主要发现

• 在 MNIST 上，MFCVAE 在数字类别上的无监督聚类准确率达到 92.3%，在笔画风格面上达到 89.1%，表明对多个数据特征的有效解耦。
• 在 SVHN 上，模型在数字类别上达到 85.7% 的准确率，在背景颜色面上达到 82.4%，显示出在多样化数据分布下的稳健性能。
• 在 3DShapes（配置 1）上，MFCVAE 在物体形状上的准确率达到 94.2%，在地板颜色上达到 91.8%，各面之间表现出清晰的解耦性。
• 在 3DShapes（配置 2）上，模型在物体形状上达到 93.5% 的准确率，在墙面颜色上达到 90.6%，证实了在不同数据配置下的性能一致性。
• MFCVAE 生成样本的 LPIPS 分数在 MNIST 上为 0.116，在 SVHN 上为 0.182，分别接近真实图像的多样性（分别为 0.112 和 0.227），表明样本质量与多样性俱佳。
• 模型支持按面的可控生成：例如，可生成特定风格的数字同时保持其身份不变，如在包含所有聚类的定性样本中所示。