[论文解读] Deep Variational Sufficient Dimensionality Reduction

Ershad Banijamali, Amir-Hossein Karimi+1 more|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 6

一句话总结

该论文提出深度变分充分降维（DVSDR），一种深度生成模型，可学习保留分类预测信息的低维潜在表示。通过将降维问题置于变分自编码器框架中，并最大化联合似然的下界，DVSDR 实现了半监督学习，能够生成高质量样本，同时在 MNIST 和 Fashion-MNIST 数据集上达到具有竞争力的分类准确率。

ABSTRACT

We consider the problem of sufficient dimensionality reduction (SDR), where the high-dimensional observation is transformed to a low-dimensional sub-space in which the information of the observations regarding the label variable is preserved. We propose DVSDR, a deep variational approach for sufficient dimensionality reduction. The deep structure in our model has a bottleneck that represent the low-dimensional embedding of the data. We explain the SDR problem using graphical models and use the framework of variational autoencoders to maximize the lower bound of the log-likelihood of the joint distribution of the observation and label. We show that such a maximization problem can be interpreted as solving the SDR problem. DVSDR can be easily adopted to semi-supervised learning setting. In our experiment we show that DVSDR performs competitively on classification tasks while being able to generate novel data samples.

研究动机与目标

• 为解决从高维观测中学习一个低维潜在空间以保留所有关于离散标签变量的预测信息的挑战。
• 通过变分推断将充分降维（SDR）整合到深度生成模型中，以提升泛化能力和可扩展性。
• 通过共享潜在空间支持重建和分类，利用未标记数据实现半监督学习。
• 通过从学习到的潜在空间先验分布中采样，生成真实的新数据样本。
• 证明模型在保持强大生成能力的同时，能够实现具有竞争力的分类性能。

提出的方法

• 将 SDR 形式化为概率图模型，其中潜在变量 z 使得 x 和 y 条件独立：y ⊥ x | z。
• 使用对联合分布 p(x, y) 的对数似然的变分下界，分解为重建项和 KL 散度项。
• 使用深度神经网络参数化编码器 qϕ(z|x)、解码器 pθ(x|z) 和分类器 pψ(y|z)，支持端到端训练。
• 最大化变分下界 Lϕ,θ,ψ(x,y) = E[log pθ(x|z)] + E[log pψ(y|z)] - KL(qϕ(z|x) || p(z))，其中 p(z) = N(0, I)。
• 通过拆分目标函数将模型适配到半监督学习：标记数据同时优化重建和分类，未标记数据仅优化重建。
• 使用重参数化技巧进行反向传播，并通过从 z ~ p(z) 采样并解码为 x 实现生成。

实验结果

研究问题

• RQ1 深度变分自编码器框架能否在 SDR 设置下有效学习一个低维潜在空间，以保留所有与分类相关的相关信息？
• RQ2 与 VAE 和 AAE 等现有深度生成模型相比，所提出的 DVSDR 模型在分类准确率和样本生成质量方面表现如何？
• RQ3 在标签数据有限的情况下，DVSDR 在半监督学习设置中能多大程度上利用未标记数据以提升性能？
• RQ4 所学习潜在空间的解耦结构是否能支持生成具有类别的有意义样本？
• RQ5 模型能否在低维表示中同时保持高重建质量与强预测性能？

主要发现

• 在使用全部标记样本的情况下，DVSDR 在 MNIST 上的分类误差率为 0.80 ± 0.04，优于 AAE（0.86 ± 0.03）和 VAE（0.96 ± 0.03）。
• 当仅使用 1,000 个标记样本时，AAE 表现优于 DVSDR，表明在极端标签稀缺情况下，AAE 对潜在空间的直接监督可能更具优势。
• DVSDR 能够从先验分布 p(z) 生成高质量图像，当对潜在空间拟合高斯混合模型时，可观察到清晰的类别分离。
• 该模型成功使用潜在维度为 2、10 和 15 的设置，对 MNIST 和 Fashion-MNIST 数据集实现样本重建与生成。
• DVSDR 的半监督变体通过在标记和未标记数据间共享编码器和解码器，有效利用未标记数据，提升了表征学习效果。
• 所学习的潜在空间表现出强解耦性，通过从拟合的高斯混合模型的不同分量中采样，可实现类别特定样本的生成。