[论文解读] Entity-aware Image Caption Generation

Di Lu, Spencer Whitehead+3 more|arXiv (Cornell University)|Apr 21, 2018

Multimodal Machine Learning Applications参考文献 31被引用 13

一句话总结

本文提出了一种用于实体感知图像字幕的两阶段框架，首先使用CNN-LSTM模型生成带有槽位占位符的模板字幕，然后通过基于知识图谱的集体推理方法，利用话题标签和相关元数据填充具体命名实体。该方法显著提升了单模态基线模型的字幕信息量，生成了富含上下文实体的新闻风格描述。

ABSTRACT

Current image captioning approaches generate descriptions which lack specific information, such as named entities that are involved in the images. In this paper we propose a new task which aims to generate informative image captions, given images and hashtags as input. We propose a simple but effective approach to tackle this problem. We first train a convolutional neural networks - long short term memory networks (CNN-LSTM) model to generate a template caption based on the input image. Then we use a knowledge graph based collective inference algorithm to fill in the template with specific named entities retrieved via the hashtags. Experiments on a new benchmark dataset collected from Flickr show that our model generates news-style image descriptions with much richer information. Our model outperforms unimodal baselines significantly with various evaluation metrics.

研究动机与目标

• 解决通用图像字幕缺乏特定命名实体和上下文信息的局限性。
• 仅使用有限的文本输入（如话题标签和元数据）生成信息丰富、类似新闻的图像描述。
• 通过将模板生成与实体填充解耦，克服神经网络字幕模型中的OOV（词汇外）问题。
• 在统一框架内实现先进字幕生成与实体链接方法的灵活集成。

提出的方法

• 在新闻图像-模板字幕配对数据上训练CNN-LSTM编码器-解码器模型，生成包含槽位占位符（如<Person>、<Organization>）的抽象模板字幕。
• 利用相关的话题标签和元数据（如时间、地点）从Flickr中检索主题相关的图像。
• 应用实体发现与链接（EDL）技术处理检索到的图像标题，提取命名实体并将它们链接到外部知识库以实现细粒度类型标注。
• 基于EDL结果，使用基于频率的选择策略，将每个槽位填充为最常见且类型一致的实体候选。
• 利用知识图谱进行集体推理，以提高跨槽位的实体选择准确性和一致性。
• 设计模块化框架，支持不同字幕生成和实体链接模型的即插即用式集成。

实验结果

研究问题

• RQ1 结合模板生成与实体填充的两阶段方法，是否能生成比端到端神经网络字幕更富信息量的图像字幕？
• RQ2 话题标签和元数据在检索与上下文相关的实体用于图像字幕方面，其有效性如何？
• RQ3 在低资源、新兴事件场景下，基于知识图谱的集体推理在多大程度上提升了实体选择的准确性？
• RQ4 该模型能否在不依赖大规模训练数据的情况下，泛化生成富含上下文实体的新闻风格字幕？

主要发现

• 所提模型生成的字幕显著优于单模态基线模型，生成了富含命名实体的新闻风格描述。
• 在多种评估指标上，该模型均优于强基线模型，表现出在捕捉相关实体方面的卓越性能。
• 两阶段设计有效解耦了生成多样化句式结构与引入罕见或词汇外实体的挑战。
• 利用话题标签驱动的检索与基于知识图谱的推理，即使在文本输入有限的情况下，也能实现有效的实体选择。
• 该框架具有高度灵活性与可扩展性，可在不修改架构的前提下集成先进的字幕生成与实体链接模型。
• 该模型在处理新兴事件（如抗议、罢工）时表现出鲁棒性，能够准确识别关键实体（如“初级医生”或“托利党”）以提供上下文信息。