[论文解读] MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning

Miguel Vasco, Francisco S. Melo+1 more|arXiv (Cornell University)|Jun 4, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

MHVAE 提出了一种受人类启发的层次化变分自编码器，能够学习模态特定的和联合的多模态表征，以实现鲁棒的跨模态推理。通过使用模态特定表征丢弃来近似联合后验分布，该方法在计算成本极低的情况下实现了模态特定重建和跨模态生成的最先进性能。

ABSTRACT

Humans are able to create rich representations of their external reality. Their internal representations allow for cross-modality inference, where available perceptions can induce the perceptual experience of missing input modalities. In this paper, we contribute the Multimodal Hierarchical Variational Auto-encoder (MHVAE), a hierarchical multimodal generative model for representation learning. Inspired by human cognitive models, the MHVAE is able to learn modality-specific distributions, of an arbitrary number of modalities, and a joint-modality distribution, responsible for cross-modality inference. We formally derive the model's evidence lower bound and propose a novel methodology to approximate the joint-modality posterior based on modality-specific representation dropout. We evaluate the MHVAE on standard multimodal datasets. Our model performs on par with other state-of-the-art generative models regarding joint-modality reconstruction from arbitrary input modalities and cross-modality inference.

研究动机与目标

• 开发一种多模态生成模型，通过在多个感官模态上学习分层表征来模拟人类认知处理过程。
• 通过联合建模模态特定分布与联合分布，实现跨模态推理——即从部分输入中重建缺失的模态。
• 解决单隐空间模型的局限性，这些模型通过强制所有模态进入单一共享空间而损害了表征能力。
• 提出一种高效的联合模态分布后验近似方法，可扩展至任意数量的模态。
• 在标准基准上评估该模型，并证明其在重建和跨模态生成方面具有卓越性能。

提出的方法

• MHVAE 采用分层架构，包含模态特定编码器和共享的联合编码层，受认知模型‘汇聚-发散区’（Convergence-Divergence Zone, CDZ）的启发。
• 采用变分推理框架以优化证据下界（ELBO），并为分层多模态设置形式化推导了该目标函数。
• 提出一种新颖的后验近似方法：模态特定表征丢弃，可在无需额外推理网络的情况下实现有效的联合后验估计。
• 模型通过反向传播进行端到端训练，丢弃机制在优化过程中促进跨模态泛化。
• 该架构支持任意数量的输入模态，在保持模态特定表征能力的同时实现联合推理。
• 通过利用分层结构和基于丢弃的后验近似，避免了昂贵的成对散度项计算。

实验结果

研究问题

• RQ1 分层生成模型是否能在多模态表征学习中超越单隐空间模型？
• RQ2 如何在多种模态上以可扩展的方式有效学习和优化跨模态推理？
• RQ3 模态特定表征丢弃能否作为一种有效且高效的联合模态后验近似方法？
• RQ4 MHVAE 在标准基准上是否在重建和跨模态生成方面优于当前最先进模型？
• RQ5 在如 CelebA 这类复杂数据集上，表征空间的维度如何影响性能？

主要发现

• 在 MNIST 和 FashionMNIST 数据集上，MHVAE 即使在较低维表征空间下，也实现了模态特定重建的最先进性能。
• 在 CelebA 数据集上，MHVAE 在联合模态重建和跨模态推理方面表现与其它最先进模型相当。
• 在标签评估指标下，MHVAE 在跨模态推理性能上优于 MVAE 模型。
• 所提出的模态特定表征丢弃方法实现了高效的联合后验近似，且计算开销极低。
• 分层设计在保持模态特定表征能力的同时，实现了在输入不完整条件下的鲁棒跨模态生成。
• 由于模块化架构和高效的后验近似方法，该模型在泛化能力和扩展至任意数量模态方面表现出色。