[论文解读] Multimodal Variational Autoencoders for Semi-Supervised Learning: In Defense of Product-of-Experts

Svetlana Kutuzova, Oswin Krause+3 more|arXiv (Cornell University)|Jan 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 5

一句话总结

本文提出了一种新型的产品-专家（PoE）变分自编码器（SVAE），用于多模态半监督学习，通过公理化原则提升联合表征学习性能。SVAE 在生成高维模态（如图像、文本和质谱数据）中的一致性、条件采样方面优于混合专家（MoE）和先前的 PoE 模型，尤其在低监督设置下表现更优。

ABSTRACT

Multimodal generative models should be able to learn a meaningful latent representation that enables a coherent joint generation of all modalities (e.g., images and text). Many applications also require the ability to accurately sample modalities conditioned on observations of a subset of the modalities. Often not all modalities may be observed for all training data points, so semi-supervised learning should be possible. In this study, we propose a novel product-of-experts (PoE) based variational autoencoder that have these desired properties. We benchmark it against a mixture-of-experts (MoE) approach and an approach of combining the modalities with an additional encoder network. An empirical evaluation shows that the PoE based models can outperform the contrasted models. Our experiments support the intuition that PoE models are more suited for a conjunctive combination of modalities.

研究动机与目标

• 解决在训练过程中仅观测到部分模态时，学习有意义的多模态联合潜在表征的挑战。
• 探究产品-专家（PoE）架构是否真的不适合多模态 VAE，反驳先前认为 MoE 更优越的观点。
• 开发一种理论基础坚实的基于 PoE 的 VAE（SVAE），实现高维模态间准确的条件生成与半监督学习。
• 在合成数据集和真实世界数据集（包括图像-文本任务与质谱-分子指纹任务）上，评估基于 PoE 的模型相较于 MoE 和先前 PoE 模型的性能表现。

提出的方法

• SVAE 基于公理化原则推导，确保通过产品-专家（PoE）机制在潜在空间中一致且连贯地融合多个模态。
• 模型为每种模态使用独立的编码器，联合后验近似由各专家后验的乘积构成。
• 应用重参数化技巧，支持通过反向传播进行端到端训练，实现对变分下界基于梯度的优化。
• 通过在给定观测模态下从联合后验中采样，实现条件生成，从而实现未观测模态的重建与生成。
• 该架构扩展至三模态设置，在保持参数效率的同时提升了重建性能。
• 通过在成对和非成对数据上进行训练（每样本仅观测部分模态），支持半监督学习。

实验结果

研究问题

• RQ1 基于产品-专家（PoE）的变分自编码器是否能在多模态半监督学习中超越基于混合专家（MoE）的方法？
• RQ2 基于 PoE 的 SVAE 模型是否在联合表征学习与条件生成方面优于先前的 PoE 模型（如 VAEVAE 和 MVAE）？
• RQ3 在低监督设置下，PoE 模型的泛化能力如何，特别是当仅有少量数据为成对时？
• RQ4 PoE 模型能否有效处理真实世界中的高维多模态数据，如质谱与分子指纹数据？
• RQ5 SVAE 的公理化推导是否相比启发式 PoE 设计带来了性能提升与参数效率的改进？

主要发现

• 在基于 MNIST 的半幅数字图像任务中，基于 PoE 的模型（SVAE 和 VAEVAE）显著优于基于 MoE 的 MMVAE，尤其在低监督设置下表现更优。
• 在图像-文本生成任务中，VAEVAE 在全部三项指标（FID、CLIP 和交叉一致性）下均优于 MMVAE，且 PoE 模型展现出更优的交叉一致性。
• 在真实生物信息学任务中，基于串联质谱预测分子指纹方面，SVAE 优于 VAEVAE，在 CASMI2017 挑战赛中实现了更高的候选分子识别排名准确率。
• SVAE 在单个模态上的重建性能优于 VAEVAE，同时参数量更少，表明其具有更高的参数效率。
• SVAE 的三模态扩展在所有模态上均表现出色，且模型复杂度更低，证实了其可扩展性与鲁棒性。
• 实证结果反驳了 PoE 不适用于多模态 VAE 的观点，支持其在模态的合取（AND 类似）融合中的应用。