[论文解读] Journalistic Guidelines Aware News Image Captioning

Xuewen Yang, Svebor Karaman+2 more|arXiv (Cornell University)|Sep 7, 2021

Multimodal Machine Learning Applications参考文献 42被引用 5

一句话总结

该论文提出 JoGANIC，一种新颖的新闻图像字幕生成模型，通过模板引导解码方法整合新闻写作准则，建模五大关键要素——谁、何时、何地、何事及上下文。通过引入命名实体嵌入与多跨度文本阅读机制以实现长上下文理解，JoGANIC 在 GoodNews 与 NYT800K 数据集上的生成质量与命名实体准确性方面显著优于当前最先进方法。

ABSTRACT

The task of news article image captioning aims to generate descriptive and informative captions for news article images. Unlike conventional image captions that simply describe the content of the image in general terms, news image captions follow journalistic guidelines and rely heavily on named entities to describe the image content, often drawing context from the whole article they are associated with. In this work, we propose a new approach to this task, motivated by caption guidelines that journalists follow. Our approach, Journalistic Guidelines Aware News Image Captioning (JoGANIC), leverages the structure of captions to improve the generation quality and guide our representation design. Experimental results, including detailed ablation studies, on two large-scale publicly available datasets show that JoGANIC substantially outperforms state-of-the-art methods both on caption generation and named entity related metrics.

研究动机与目标

• 解决现有新闻图像字幕模型在生成结构化、信息丰富字幕时未显式遵循新闻写作准则的不足。
• 通过基于模板的方法建模新闻价值字幕的结构化要素（如命名实体与上下文信息），提升字幕质量。
• 通过设计多跨度文本阅读机制，提升在长文本字幕生成中的长上下文理解能力。
• 通过专用的命名实体嵌入技术，提升字幕中命名实体的相关性。
• 证明引导式、结构感知的字幕生成可产生更准确、更富信息量且经人工评估表现更优的字幕。

提出的方法

• JoGANIC 采用基于模板的解码框架，每个字幕均围绕五大新闻要素——谁、何时、何地、何事及上下文——进行结构化组织。
• 模型为每对图像-文章预测最可能激活的字幕模板组件，实现引导式生成。
• 引入命名实体嵌入（NEE）模块，显式表示并保留文章中关键命名实体（如人物、组织、地点）的信息。
• 设计多跨度文本阅读（MSTR）机制，将长篇文章分割为多个文本片段，从每段提取特征并进行融合，以增强长上下文理解能力。
• 模型采用编码器-解码器架构，图像特征与文章表征之间通过交叉注意力机制连接，并由预测的模板组件进行引导。
• 解码过程使用组件特定的模块，生成流畅、结构化且符合新闻标准的字幕。

实验结果

研究问题

• RQ1 显式建模新闻字幕结构是否能提升生成新闻图像字幕的质量与信息量？
• RQ2 整合命名实体表示对新闻图像字幕中字幕的准确性与相关性有何影响？
• RQ3 相较于标准序列编码，多跨度文本阅读在长篇新闻文章上的性能提升程度如何？
• RQ4 模板引导的字幕生成是否能在内容覆盖度与流畅性方面更贴近人工标注的参考字幕？
• RQ5 所提出的组件（NEE、MSTR、模板引导）在整体字幕生成性能中各自及协同贡献如何？

主要发现

• JoGANIC+MSTR+NEE 在所有指标上均获得最高的人工评估得分，句法质量得分为 2.99，优于基线模型 Tell（2.92），并接近真实参考值（3.08）。
• 在 GoodNews 与 NYT800K 数据集上，JoGANIC 在自动评估与人工评估指标上均显著优于当前最先进方法。
• 人工评估显示，JoGANIC 变体在图像描述相关性（2.87 vs. 2.80）与文章相关性（2.86 vs. 2.80）方面评分高于基线模型。
• 引入命名实体嵌入（NEE）显著提升了模型在字幕中包含关键命名实体（如人物与组织）的能力，例如提及 'Ms. Pedersen' 与 'Havens House Museum' 的字幕。
• 多跨度文本阅读（MSTR）机制使模型能够访问并利用长文章末尾的信息，从而生成更完整、更具上下文准确性的字幕。
• 消融实验确认 NEE 与 MSTR 均对性能有显著贡献，完整配置 JoGANIC+MSTR+NEE 达到最佳效果。