[论文解读] Learning to Predict: A Fast Re-constructive Method to Generate Multimodal Embeddings

Guillem Collell, Teddy Zhang+1 more|arXiv (Cornell University)|Mar 25, 2017

Topic Modeling参考文献 21被引用 3

一句话总结

本文提出了一种快速、受认知启发的方法，通过学习从语言到视觉的映射来重建视觉表征，从而生成关联性、重构性的多模态嵌入。该方法在七个概念相似性基准测试中优于强基线模型，尤其在零样本设置下表现更优，展现出更‘类人’的语义判断能力。

ABSTRACT

Integrating visual and linguistic information into a single multimodal representation is an unsolved problem with wide-reaching applications to both natural language processing and computer vision. In this paper, we present a simple method to build multimodal representations by learning a language-to-vision mapping and using its output to build multimodal embeddings. In this sense, our method provides a cognitively plausible way of building representations, consistent with the inherently re-constructive and associative nature of human memory. Using seven benchmark concept similarity tests we show that the mapped vectors not only implicitly encode multimodal information, but also outperform strong unimodal baselines and state-of-the-art multimodal methods, thus exhibiting more "human-like" judgments---particularly in zero-shot settings.

研究动机与目标

• 开发一种简单、高效的方法，以符合人类记忆的重构性和关联性本质，整合视觉与语言的多模态表征。
• 解决在缺乏每种概念的配对视觉与文本数据的情况下，构建丰富且可泛化的多模态嵌入的挑战。
• 通过利用隐式编码两种模态的跨模态映射，提升语义相似性任务的性能，特别是在零样本设置下。
• 探究基于重构性和关联性的多模态表征学习方法是否能产生比加法或拼接方法更类人的语义判断。

提出的方法

• 该方法使用神经网络（前馈或线性）学习从词嵌入预测视觉特征的语言到视觉映射。
• 该映射的输出被直接用作多模态表征，结合语言输入与重建的视觉信息。
• 模型通过最小化预测视觉特征与真实视觉特征之间的重建损失进行训练，迫使网络学习有意义的跨模态关联。
• 通过将原始词嵌入与映射后的视觉表征拼接，形成多模态嵌入，同时保留语言信息与重建的视觉信息。
• 该方法应用于七个基准数据集，包括Wordsim353、MEN、SimVerb-3500等，以人工标注的相似性分数作为评估目标。
• 评估了两种变体：MAP-NN（非线性映射）和MAP-Lin（线性映射），并通过消融实验与基线模型如GloVe、CNN平均值和特征拼接（CONC）进行比较。

实验结果

研究问题

• RQ1 能否通过从文本重建视觉特征的语言到视觉映射，生成比单模态或拼接基线更有效且更类人的多模态表征？
• RQ2 所提出的重构性、关联性方法是否在零样本词对（无配对图像可用）上比现有多模态方法具有更好的泛化能力？
• RQ3 性能提升是否源于学习到的映射捕捉到比原始视觉向量更语义相关的视觉特征，如消融比较所暗示的？
• RQ4 重建的视觉特征在多大程度上改善了语义相似性判断，特别是对具体且具有视觉基础的概念？
• RQ5 该方法的认知合理性——模拟人类记忆的重构性和关联性——是否转化为更准确、与人类对齐的相似性预测？

主要发现

• MAP-C NN 变体在 VisSim 测试集上达到了 0.820 的斯皮尔曼等级相关系数，优于所有基线模型，包括 GloVe 和 CONC。
• 在 Wordsim353-rel 数据集上，MAP-C NN 在 VIS 区域的相关系数达到 0.778，显著优于 GloVe（0.688）和 CONC（0.526），p 值 ≈ 0.008。
• 在零样本（ZS）设置下，该方法在所有测试集上均表现出一致的优势，MAP-C NN 在 SimVerb-3500-ZS 上达到 0.745，优于 GloVe（0.688）和 CONC（0.526）。
• 在 7 个测试集中的 6 个上，MAP-C NN 相较于原始视觉特征拼接（CONC）表现更优（p ≈ 0.06），表明映射后的特征在语义上比原始视觉向量更丰富。
• 在所有 VIS 区域，该方法显著优于简单拼接（CONC）（CONC 的 p ≈ 0.7，MAP-C NN 的 p ≈ 0.008），表明模态间的关联比加法融合更有效。
• 该方法在全部七个基准数据集上均达到最先进性能，尤其在 MEN（0.800）、VisSim（0.820）和 SimVerb-3500（0.785）上取得最高分，支持其在生成更‘类人’判断方面的主张。