[论文解读] A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression

Joel Jaskari, Jyri Kivinen|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 4

一句话总结

本文提出了一种新型变分自编码器，其潜在变量具有层次化先验，并引入了专门的序数性强制单元，以更好地建模序数数据。该方法在生成建模、名义分类和序数回归任务中均表现出色，尤其在序数任务中显著优于标准的softmax，且在不同标注数据比例下均展现出更低的误差率。

ABSTRACT

We develop a novel probabilistic generative model based on the variational autoencoder approach. Notable aspects of our architecture are: a novel way of specifying the latent variables prior, and the introduction of an ordinality enforcing unit. We describe how to do supervised, unsupervised and semi-supervised learning, and nominal and ordinal classification, with the model. We analyze generative properties of the approach, and the classification effectiveness under nominal and ordinal classification, using two benchmark datasets. Our results show that our model can achieve comparable results with relevant baselines in both of the classification tasks.

研究动机与目标

• 开发一种统一架构的变分自编码器，支持无监督、半监督和有监督学习。
• 引入一种新型的序数性强制单元，以更好地捕捉分类任务中有序类别的关系。
• 通过将类别特定的潜在分布建模为独立的先验组件，提升潜在空间中类别特定分布的可解释性。
• 在基准数据集上评估模型在生成建模、名义分类和序数回归任务中的性能。
• 证明所提出的架构在计算复杂度低于现有模型的前提下，仍能取得具有竞争力的性能表现。

提出的方法

• 模型采用层次化先验结构，其中类别标签 $ y $ 直接影响潜在变量 $ \mathbf{z} $ 的均值，从而实现类别特定的先验分布。
• 识别网络 $ q_\phi(y, \mathbf{z} \mid \mathbf{x}) $ 因子化为 $ q_\phi(y \mid \mathbf{x}) $ 和 $ q_\phi(\mathbf{z} \mid \mathbf{x}, y) $，支持对类别和潜在变量的联合推断。
• 引入序数性强制单元，以确保潜在空间中各类别的均值保持有序，从而提升序数分类任务的性能。
• 模型采用重参数化梯度的变分下界（ELBO）进行端到端训练，支持生成网络与识别网络的基于梯度的联合优化。
• 通过识别网络的近似后验推断，利用未标注数据支持半监督学习。
• 分类头采用单隐藏层MLP，激活函数为ReLU/tanh，softmax与序数变体使用相同的网络架构。

实验结果

研究问题

• RQ1 统一的VAE架构是否能在最小化架构改动的前提下，有效处理无监督、半监督和有监督学习？
• RQ2 引入序数性强制单元后，是否能在序数数据集上显著提升分类准确率，优于标准的softmax？
• RQ3 学习到的潜在空间中类别特定先验分布在可解释性与分离质量方面表现如何？
• RQ4 在标注数据有限的半监督设置下，模型在序数分类任务中的性能表现如何，尤其在低标注比例下？
• RQ5 与现有SOTA模型相比，该模型是否能在计算复杂度更低的前提下，仍取得具有竞争力的性能？

主要发现

• 在所有标注数据比例下，序数分类器的平均测试误差均低于标准softmax分类器，尤其在30%标注数据时，平均误差降低0.019（0.189 vs. 0.203）。
• 在0.25标注数据比例下，序数模型的平均误差为0.198（标准差0.026），优于softmax基线（0.217 ± 0.029）。
• 一维潜在空间的可视化显示，序数分类器生成的类别分布更具区分性且顺序更清晰，相邻类别间重叠更少。
• softmax分类器对类别2和3的分布更平坦且判别性更弱，而类别1则表现出高度集中的峰值。
• 在生成建模与名义分类任务中，模型性能与现有模型相当，且由于类别特定先验分布的引入，可解释性得到提升。
• 层次化先验结构实现了更好的类别特定特征解耦，增强了模型在半监督学习中的可解释性与有效性。