[论文解读] Learning language through pictures

Grzegorz Chrupała, Ákos Kádár+1 more|arXiv (Cornell University)|Jun 11, 2015

Multimodal Machine Learning Applications参考文献 26被引用 9

一句话总结

该论文提出 IMAGINET，一种多模态循环神经网络，通过联合预测图像特征和下一个词，从文本场景描述中学习具身化的语言表征。通过共享词嵌入和包含两个并行 GRU 网络的多任务目标，该模型习得词义和句子结构知识，在词相似度、图像检索和释义检测任务中优于基线模型。

ABSTRACT

We propose Imaginet, a model of learning visually grounded representations of language from coupled textual and visual input. The model consists of two Gated Recurrent Unit networks with shared word embeddings, and uses a multi-task objective by receiving a textual description of a scene and trying to concurrently predict its visual representation and the next word in the sentence. Mimicking an important aspect of human language learning, it acquires meaning representations for individual words from descriptions of visual scenes. Moreover, it learns to effectively use sequential structure in semantic interpretation of multi-word phrases.

研究动机与目标

• 建模人类在语言习得过程中如何通过视觉语境学习词义。
• 开发一种深度学习架构，能够从配对的图像-文本数据中同时学习视觉表征和序列语言结构。
• 探究视觉具身化在改善单个词语和多词短语语义表征中的作用。
• 评估循环模型结合多任务学习是否能够捕捉超越词袋模型的句子级语义。
• 评估句子结构对图像和字幕检索性能的影响。

提出的方法

• IMAGINET 使用两个具有共享词嵌入的并行门控循环单元（GRU）网络来处理文本描述。
• 一个 GRU 在完整句子处理完成后预测所描述场景的视觉特征表征。
• 另一个 GRU 在每个时间步预测句子中的下一个词，从而实现语言建模。
• 该模型采用结合视觉重建和下一个词预测的多任务学习目标，损失权重可调节。
• GRU 使用陡峭的 Sigmoid 门控和在 0 到 5 之间截断的 ReLU 激活函数，以提升稳定性和表达能力。
• 该模型在配对的图像-字幕数据上端到端训练，学习将句子映射到视觉特征并预测序列化语言。

实验结果

研究问题

• RQ1 神经网络是否能在训练过程中通过将词义与视觉场景具身化来学习有意义的词表征？
• RQ2 学习句子结构在多大程度上能提升图像和字幕检索任务的性能？
• RQ3 与单模态监督相比，联合视觉和文本监督如何影响所学句子表征的质量？
• RQ4 模型是否仅通过视觉和序列信号就能泛化到释义检测和词相似度判断任务？
• RQ5 模型在句子理解中对词序和句法结构的敏感性如何？

主要发现

• IMAGINET 与人类对词相似度的评分显著相关，表明其有效获取了词汇语义。
• 在图像检索任务中，该模型优于多元线性回归基线模型，尤其在使用原始句子顺序时表现更优。
• 当句子词序被打乱时，图像检索和字幕检索性能均下降，表明模型对句法结构敏感。
• 该模型能为单个词语和多词短语检索到恰当的视觉解释，表明其具备有效的语义组合能力。
• 视觉路径的最终隐藏状态捕捉了句子级语义，从而在释义检测任务中表现出稳健性能。
• 该模型对损失权重不敏感，视觉和文本目标均对表征学习有显著贡献。