[论文解读] Conditional generation of multi-modal data using constrained embedding space mapping

Subhajit Chaudhury, Sakyasingha Dasgupta+3 more|arXiv (Cornell University)|Jul 4, 2017

Video Analysis and Summarization参考文献 11被引用 5

一句话总结

该论文提出了一种条件生成模型，通过约束嵌入空间映射，将多模态数据——文本、语音和图像——映射到共享潜在空间，从而实现从新颖的文本或语音输入中生成未见过的图像概念。通过为每种模态分别训练变分自编码器（VAE），并利用距离最小化目标强制其潜在表示之间的接近性，该方法实现了优越的泛化能力，如在未见的双位数MNIST和彩色MNIST生成任务中表现出较高的PSNR分数。

ABSTRACT

We present a conditional generative model that maps low-dimensional embeddings of multiple modalities of data to a common latent space hence extracting semantic relationships between them. The embedding specific to a modality is first extracted and subsequently a constrained optimization procedure is performed to project the two embedding spaces to a common manifold. The individual embeddings are generated back from this common latent space. However, in order to enable independent conditional inference for separately extracting the corresponding embeddings from the common latent space representation, we deploy a proxy variable trick - wherein, the single shared latent space is replaced by the respective separate latent spaces of each modality. We design an objective function, such that, during training we can force these separate spaces to lie close to each other, by minimizing the distance between their probability distribution functions. Experimental results demonstrate that the learned joint model can generalize to learning concepts of double MNIST digits with additional attributes of colors,from both textual and speech input.

研究动机与目标

• 为解决跨模态生成在未见概念组合（如新颖的数字-颜色配对）上的泛化挑战。
• 通过学习共享语义潜在空间，实现从未见文本或语音嵌入中进行图像的条件生成。
• 克服直接回归方法因缺乏解耦、结构化的潜在表示而导致的模糊、均值化图像重建的局限性。
• 设计一种支持双向生成（如文本→图像、语音→图像）的框架，利用代理潜在空间技巧解耦推理过程。

提出的方法

• 该方法首先使用变分自编码器（VAEs）为每种模态（图像、文本、语音）学习低维、语义有意义的嵌入表示。
• 通过约束优化过程，将各模态特定的嵌入空间投影到一个共同的潜在流形上，最小化其潜在表示之间的L1距离。
• 使用代理变量技巧，将单一共享潜在空间替换为每种模态独立的潜在空间，从而在保持对齐的同时实现独立的条件推理。
• 目标函数结合了自编码的重建损失（L2和L3）以及分布距离损失（L1），用于对齐不同模态的潜在分布。
• 模型通过随机梯度下降进行端到端训练，其关键创新在于联合优化重建损失与跨模态对齐损失。
• 推理过程中，利用某一模态（如文本或语音）的潜在表示，通过共享潜在空间的逆映射生成对应的图像。

实验结果

研究问题

• RQ1 联合生成模型能否通过利用共享潜在空间，学习将未见的文本或语音嵌入映射到对应图像？
• RQ2 该模型在训练数据中未出现的数字与颜色的新组合上，泛化能力如何？
• RQ3 与直接从嵌入回归相比，强制模态特定潜在表示之间的接近性是否能提升生成质量？
• RQ4 代理潜在空间技巧在保持跨模态对齐的同时，能在多大程度上实现独立的条件生成？
• RQ5 自编码器架构的选择（如卷积神经网络与MLP）如何影响多模态生成中的重建保真度与泛化能力？

主要发现

• 基于卷积VAE的模型在从未见文本嵌入生成双位数MNIST图像时，取得了最高的PSNR（18.72），显著优于直接回归基线。
• 在语音到图像生成任务中，卷积自编码器在未见的彩色双位数MNIST上实现了17.91的PSNR，表明对新型音频-视觉组合具有鲁棒的泛化能力。
• 直接回归基线因缺乏解耦的潜在表示，生成了模糊、均值化的图像，导致未见数字组合的PSNR仅为12.45。
• 所提方法成功生成了清晰、锐利的未见数字-颜色配对图像，表明其在零样本组合上的有效泛化能力。
• 定性结果表明，该模型能从新颖的描述语句和语音中生成语义有意义的图像，而基线模型无法捕捉变化，仅生成平均化输出。
• 约束嵌入空间映射的使用实现了双向条件生成，并通过定量PSNR和定性图像质量均体现出泛化能力的提升。