[论文解读] Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning

Felix Berkhahn, Richard Keys+3 more|arXiv (Cornell University)|Aug 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 6

一句话总结

该论文提出了一种统一的半监督变分自编码器（VAE），通过在编码器中添加分类头并将分类结果与潜在代码结合，实现无监督、半监督和监督学习的无缝整合。该模型通过同时利用未标记数据和稀疏标签，提升了表征学习和分类准确率，在MNIST、Fashion-MNIST和UCI-HAR数据集上均优于标准的监督和无监督基线方法。

ABSTRACT

We present a new flavor of Variational Autoencoder (VAE) that interpolates seamlessly between unsupervised, semi-supervised and fully supervised learning domains. We show that unlabeled datapoints not only boost unsupervised tasks, but also the classification performance. Vice versa, every label not only improves classification, but also unsupervised tasks. The proposed architecture is simple: A classification layer is connected to the topmost encoder layer, and then combined with the resampled latent layer for the decoder. The usual evidence lower bound (ELBO) loss is supplemented with a supervised loss target on this classification layer that is only applied for labeled datapoints. This simplicity allows for extending any existing VAE model to our proposed semi-supervised framework with minimal effort. In the context of classification, we found that this approach even outperforms a direct supervised setup.

研究动机与目标

• 开发一种统一的深度学习框架，利用变分自编码器弥合无监督、半监督和监督学习之间的鸿沟。
• 探究稀疏标签与大量未标记数据如何共同提升表征质量与预测性能。
• 证明VAE重构损失可作为正则化项，使分类准确率超越标准监督训练。
• 在不同标签可用性条件下，评估模型在异常检测和表征解耦方面的性能。
• 展示即使标签数量极少，也能显著提升无监督表征学习与重构保真度。

提出的方法

• 在最顶层的编码器层添加分类头，生成类别概率，并将其与采样得到的潜在代码拼接后作为解码器的输入。
• 损失函数结合标准VAE的证据下界（ELBO）与仅作用于标记数据的监督交叉熵损失。
• 通过按每个批次中每类样本数量对分类损失进行归一化，以稳定训练并缓解标签不平衡问题。
• 采用单一目标端到端训练模型，实现从0%到100%标签可用性范围内的无缝适应。
• 该架构可对任意现有VAE进行最小修改，实现即插即用的半监督学习扩展。
• 在MNIST、Fashion-MNIST和UCI-HAR数据集上，采用标准分类、异常检测和betaVAE解耦性基准对模型进行评估。

实验结果

研究问题

• RQ1 统一的VAE框架是否能在极少架构改动下，有效实现无监督、半监督和完全监督学习之间的插值？
• RQ2 引入稀疏标签是否能同时提升分类准确率与无监督重构性能？
• RQ3 VAE重构损失在多大程度上对分类器起到正则化作用，使其表征优于标准监督训练？
• RQ4 标签稀缺性在多大程度上影响表征质量，以betaVAE解耦分数衡量？
• RQ5 即使仅有少量标记样本，该模型是否仍能提升异常检测性能？

主要发现

• 所提出的半监督VAE在MNIST、Fashion-MNIST和UCI-HAR数据集上，即使所有数据均被标记，其性能仍优于标准监督训练，归因于VAE重构损失的正则化效应。
• 在MNIST上仅使用100个标记样本时，模型的betaVAE解耦分数达到76±1.6，增至1,000个标签时提升至92±0.6，表明表征学习能力显著增强。
• 在Fashion-MNIST上，使用3,000个标记样本时，模型达到95.1%的半监督分类准确率，展现出在标签稀缺条件下的强大泛化能力。
• 在UCI-HAR数据集上，即使仅有少量标记样本，异常检测性能也显著提升：标签可用性使误报减少，检测鲁棒性增强。
• 当无任何标签时，模型保持与标准VAE相当的无监督性能；随着标签数量增加，性能持续提升。
• 统一框架实现了从0%到100%标签可用性范围的无缝适应，分类与重构任务之间实现互惠增益。