[论文解读] Deep Embedding for Spatial Role Labeling

Oswaldo Ludwig, Xiao Liu+2 more|arXiv (Cornell University)|Mar 28, 2016

Multimodal Machine Learning Applications参考文献 10被引用 10

一句话总结

本文提出了一种基于视觉信息的词嵌入（VIEW），在 COCO 数据集的图像-文本配对数据上进行训练，通过捕捉空间关系来增强空间角色标注（SpRL）。采用深层 LSTM-MLP 架构，VIEW 学习连续的词向量表示，从目标边界框中编码空间语义信息，在结合特征选择与 F1 最大化微调后，相较于基线特征和 Word2Vec，F1 分数最高提升 10.5%，在 SemEval-2013 基准测试中表现优异。

ABSTRACT

This paper introduces the visually informed embedding of word (VIEW), a continuous vector representation for a word extracted from a deep neural model trained using the Microsoft COCO data set to forecast the spatial arrangements between visual objects, given a textual description. The model is composed of a deep multilayer perceptron (MLP) stacked on the top of a Long Short Term Memory (LSTM) network, the latter being preceded by an embedding layer. The VIEW is applied to transferring multimodal background knowledge to Spatial Role Labeling (SpRL) algorithms, which recognize spatial relations between objects mentioned in the text. This work also contributes with a new method to select complementary features and a fine-tuning method for MLP that improves the $F1$ measure in classifying the words into spatial roles. The VIEW is evaluated with the Task 3 of SemEval-2013 benchmark data set, SpaceEval.

研究动机与目标

• 通过从多模态数据中迁移空间知识，提升空间角色标注（SpRL）的性能。
• 开发一种基于视觉的词嵌入（VIEW），从图像注释中编码空间关系。
• 在保留人工设计的语言学特征的同时，通过学习到的多模态特征增强 SpRL 模型。
• 通过一种新颖的微调方法，实现特征选择与 F1 分数的优化，以适应结构化预测任务。

提出的方法

• 在 COCO 数据集的图像-标题配对数据上训练深层神经网络，包含嵌入层、LSTM 和堆叠的 MLP，以预测空间排列。
• 利用图像注释中的目标边界框坐标作为空间监督信号，训练网络，生成反映空间上下文的词嵌入。
• 将 VIEW 提取为每个词的连续向量表示，通过深层架构的反向传播进行学习。
• 在 SpRL 模型中将 VIEW 与现有语言学特征（如词性标注、依存路径）拼接，以丰富词表示。
• 应用特征选择方法，识别出 100 个互补的 VIEW 特征，以最大化 F1 分数的提升。
• 实施 F1 最大化微调过程，以在结构化预测设置中平衡精确率与召回率。

实验结果

研究问题

• RQ1 从图像-文本配对中进行多模态学习，能否改善文本中空间角色的表征？
• RQ2 视觉感知的词嵌入（VIEW）是否在空间角色标注中优于标准的 Word2Vec？
• RQ3 互补的特征选择与 F1 优化微调能否进一步提升 SpRL 的性能？
• RQ4 VIEW 在 SemEval-2013 SpaceEval 基准测试中，对 F1 分数的提升程度如何？

主要发现

• 经过特征选择与 F1 优化后，VIEW 将空间角色标注的 F1 分数从原始特征的 0.724 提升至 0.749。
• 地标角色的 F1 分数从 0.509 提升至 0.678，相对提升达 33%。
• VIEW 表现优于 Word2Vec，空间指示词角色的 F1 分数高出 0.030（0.749 vs. 0.719）。
• VIEW 与特征选择及 F1 优化相结合，使所有角色的 F1 分数达到最高，其中空间指示词角色的最佳结果为 0.749。
• 在结构化预测中，VIEW 将三元组（sp,tr,lm）的 F1 分数从 0.235 提升至 0.235，保持稳定性的同时提升了各角色的性能。
• 该方法在低资源设置下表现出鲁棒性，即使 COCO 数据集中对象类别多样性有限（91 个类别），仍能获得性能增益。