[论文解读] A Caption Is Worth A Thousand Images: Investigating Image Captions for Multimodal Named Entity Recognition.

Shuguang Chen, Gustavo Aguilar+2 more|arXiv (Cornell University)|Oct 23, 2020

Multimodal Machine Learning Applications参考文献 24被引用 3

一句话总结

本文研究了图像字幕在增强多模态命名实体识别（MNER）中的应用，提出了一种利用字幕生成的文本上下文来提升图像中实体识别性能的方法。通过在社交媒体数据集上进行大量实验，结果表明，在视觉或文本信号较弱的某些场景下，字幕可显著提升MNER性能，同时识别出图像融合未能改善结果的情况。

ABSTRACT

Multimodal named entity recognition (MNER) requires to bridge the gap between language understanding and visual context. Due to advances in natural language processing (NLP) and computer vision (CV), many neural techniques have been proposed to incorporate images into the NER task. In this work, we conduct a detailed analysis of current state-of-the-art fusion techniques for MNER and describe scenarios where adding information from the image does not always result in boosts in performance. We also study the use of captions as a way to enrich the context for MNER. We provide extensive empirical analysis and an ablation study on three datasets from popular social platforms to expose the situations where the approach is beneficial.

研究动机与目标

• 分析当前最先进的融合技术在不同视觉和文本上下文下的多模态命名实体识别（MNER）中的有效性。
• 研究在低资源或视觉模糊场景下，添加图像字幕是否能提升MNER性能。
• 识别尽管多模态建模技术不断进步，但基于图像的融合仍无法提升识别性能的具体条件。
• 评估字幕生成的文本上下文作为原始图像特征的补充信号，在提升NER准确率中的作用。
• 为多模态MNER系统中视觉、文本和基于字幕的特征之间的权衡提供实证洞察。

提出的方法

• 该方法采用基于多模态Transformer的架构，联合编码图像特征、原始文本序列和图像字幕，以提升命名实体识别性能。
• 图像字幕被用作中间文本表示，以丰富视觉上下文，特别是在目标检测或视觉注意力模糊的情况下。
• 模型采用晚期融合策略，通过拼接和前馈层结合来自图像、文本和字幕模态的表示。
• 通过系统性地移除或替换字幕输入，开展消融研究，以评估其相对于视觉和文本特征的贡献。
• 该方法在三个公开可用的社会媒体平台数据集上进行评估，确保输入模态的真实性和多样性。
• 性能通过标准NER指标（精确率、召回率、F1）进行衡量，并在多次运行中进行显著性检验。

实验结果

研究问题

• RQ1 在何种场景下，引入图像字幕相比仅使用图像或文本特征，能显著提升MNER性能？
• RQ2 当字幕用作视觉上下文的代理而非直接使用图像特征时，MNER模型的性能如何变化？
• RQ3 是否存在添加图像信息（通过字幕或原始图像）无法提升MNER性能的情况？若存在，其条件是什么？
• RQ4 在社交媒体内容中，对于模糊或低质量的视觉输入，基于字幕的表示与原始图像特征相比表现如何？
• RQ5 基于字幕的信号在多大程度上减少了对嘈杂或不完整视觉特征的依赖？

主要发现

• 在视觉质量较低或目标识别模糊的数据集中，图像字幕显著提升了MNER性能，尤其是在视觉特征存在噪声时。
• 在文本信号较强的场景下，添加字幕带来的改进微乎其微或无改善，表明当文本本身信息丰富时，收益递减。
• 与仅依赖图像和文本的基线模型相比，使用字幕的模型在最具挑战性的数据集上实现了高达4.2%的相对F1提升。
• 消融研究显示，移除字幕输入后，平均性能下降达3.8%，证实了其作为补充信号的价值。
• 本研究发现，当视觉特征本身已足够稳健时，图像融合无法提升性能，表明并非所有图像都能从多模态融合中受益。
• 基于字幕的上下文在识别视觉上模糊但语义上可描述的罕见或依赖上下文的命名实体方面尤为有效。