[论文解读] Improving Bi-directional Generation between Different Modalities with Variational Autoencoders

Masahiro Suzuki, Kotaro Nakayama+1 more|arXiv (Cornell University)|Jan 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 3

一句话总结

该论文提出了JMVAE-kl和JMVAE-h两种变分自编码器的变体，通过在生成高维模态时防止潜在空间崩溃，提升了高维与低维模态（如文本和图像）之间的双向生成性能。这些模型在生成似然性上优于或相当于单向VAE，并通过解耦的联合表示实现可控生成。

ABSTRACT

We investigate deep generative models that can exchange multiple modalities bi-directionally, e.g., generating images from corresponding texts and vice versa. A major approach to achieve this objective is to train a model that integrates all the information of different modalities into a joint representation and then to generate one modality from the corresponding other modality via this joint representation. We simply applied this approach to variational autoencoders (VAEs), which we call a joint multimodal variational autoencoder (JMVAE). However, we found that when this model attempts to generate a large dimensional modality missing at the input, the joint representation collapses and this modality cannot be generated successfully. Furthermore, we confirmed that this difficulty cannot be resolved even using a known solution. Therefore, in this study, we propose two models to prevent this difficulty: JMVAE-kl and JMVAE-h. Results of our experiments demonstrate that these methods can prevent the difficulty above and that they generate modalities bi-directionally with equal or higher likelihood than conventional VAE methods, which generate in only one direction. Moreover, we confirm that these methods can obtain the joint representation appropriately, so that they can generate various variations of modality by moving over the joint representation or changing the value of another modality.

研究动机与目标

• 为解决标准联合多模态VAE（JMVAE）在输入缺失时无法生成高维模态（如图像）的问题。
• 克服现有解决方案（如迭代采样）的局限性，这些方法在缺失模态维度较高时会失效。
• 设计在不同模态间保持稳定且解耦的联合表示的模型，以实现可靠的双向生成。
• 证明所提出的模型在似然性上达到或超过单向VAE，同时通过潜在空间操作实现可控生成。

提出的方法

• JMVAE-kl为每种模态引入独立编码器，并通过最小化其潜在表示之间的KL散度来稳定联合表示学习。
• JMVAE-h在潜在空间中采用分层随机结构，通过提升表征能力与模式分离来防止崩溃。
• 两种模型通过在模态间共享潜在变量，同时保留模态特定的推理路径，扩展了标准VAE框架。
• 模型使用变分推断来优化联合似然的下界，支持通过反向传播进行端到端训练。
• 为提升图像质量，JMVAE-kl与GAN结合使用，将VAE的生成模型作为GAN的生成器，并联合优化VAE的下界。
• 通过插值或修改潜在码实现潜在空间操作，从而实现基于属性的图像变体可控生成。

实验结果

研究问题

• RQ1 当输入缺失时，联合多模态VAE（JMVAE）能否成功生成高维模态（如图像）？
• RQ2 迭代采样方法是否能有效解决高维缺失模态场景下的潜在崩溃问题？
• RQ3 JMVAE-kl和JMVAE-h能否防止潜在空间崩溃，并在两个方向上维持高质量生成？
• RQ4 所提出的模型能否学习到支持模态间解耦、可控生成的联合表示？
• RQ5 能否通过操纵潜在码或属性来利用联合表示生成多样化的图像变体？

主要发现

• 与标准JMVAE相比，JMVAE-kl和JMVAE-h在从属性生成图像时的条件对数似然显著提升，尤其在CelebA数据集上表现突出。
• JMVAE-kl仅通过一次采样即可成功生成高保真度的属性条件人脸图像，而标准JMVAE则完全失败。
• JMVAE-h在增加采样步数后提升了图像质量，但存在模式混合问题，导致属性对齐效果差。
• JMVAE-kl学习到的联合表示支持流形学习：按属性分组的图像形成连贯聚类，中心为平均人脸。
• 成功实现了双向生成：JMVAE-kl可从无属性信息的输入图像中生成属性和修改后的图像。
• 这些模型在似然性上达到或超过单向VAE，证实其在双向生成任务中的有效性。