[论文解读] Integrating Image Captioning with Rule-based Entity Masking

Aditya Mogadala, Xiaoyu Shen+1 more|arXiv (Cornell University)|Jul 22, 2020

Multimodal Machine Learning Applications参考文献 23被引用 4

一句话总结

本文提出了一种名为 Interpret-IC 的新型端到端图像字幕生成模型，通过使用知识图谱实体的基于规则的实体掩码来提升可解释性与对字幕生成的控制能力。通过用语义丰富的实体表示替换局部视觉特征，并应用人类可理解的掩码，该模型在对象覆盖度、字幕准确率和多样性方面优于基线方法，尤其在纠正错误的对象注意力方面表现突出。

ABSTRACT

Given an image, generating its natural language description (i.e., caption) is a well studied problem. Approaches proposed to address this problem usually rely on image features that are difficult to interpret. Particularly, these image features are subdivided into global and local features, where global features are extracted from the global representation of the image, while local features are extracted from the objects detected locally in an image. Although, local features extract rich visual information from the image, existing models generate captions in a blackbox manner and humans have difficulty interpreting which local objects the caption is aimed to represent. Hence in this paper, we propose a novel framework for the image captioning with an explicit object (e.g., knowledge graph entity) selection process while still maintaining its end-to-end training ability. The model first explicitly selects which local entities to include in the caption according to a human-interpretable mask, then generate proper captions by attending to selected entities. Experiments conducted on the MSCOCO dataset demonstrate that our method achieves good performance in terms of the caption quality and diversity with a more interpretable generating process than previous counterparts.

研究动机与目标

• 解决现有图像字幕模型在依赖局部图像特征上的黑箱注意力机制时缺乏可解释性的问题。
• 通过基于规则的掩码实现对哪些视觉实体应包含在字幕中的显式、人类可理解的控制。
• 通过将局部对象与语义丰富的知识图谱实体对齐，提升字幕质量和多样性。
• 证明通过可解释性实现的控制能够提升字幕的准确率与多样性，同时不牺牲端到端训练能力。

提出的方法

• 该模型使用多标签图像分类器将检测到的局部对象映射到知识图谱实体，用分布式实体表示替换原始视觉特征。
• 通过手工设计的规则生成人类可理解的掩码，基于语义相关性和用户意图选择相关实体。
• 在字幕生成过程中，掩码动态为选定实体分配注意力权重，确保对目标视觉对象的聚焦关注。
• 通过将掩码作为可学习的软门控机制集成到实体特征上，框架保持了端到端的可微性。
• 模型在掩码后的实体特征上使用软注意力机制生成字幕，掩码在此过程中充当对象选择的控制机制。
• 该方法在 MSCOCO 上通过 BLEU、ROUGE 及多样性度量（词汇量、新颖的 unigram/bigram）等标准指标进行评估。

实验结果

研究问题

• RQ1 基于规则的实体掩码是否能通过使对象选择过程显式且人类可理解，从而提升图像字幕模型的可解释性？
• RQ2 将局部对象与知识图谱实体对齐，是否能带来比原始视觉特征更优的字幕质量与更准确的对象归属？
• RQ3 通过掩码实现的可解释性是否能在不依赖对抗性或自编码训练方案的前提下提升字幕多样性？
• RQ4 该掩码在多大程度上能够纠正基线模型在关注错误或无关视觉对象时产生的错误？

主要发现

• Interpret-IC 在新颖字幕（NC）指标上取得了 51.54 分，显著优于基线模型（36.23），并接近对抗性多样性基线模型（68.62）的性能。
• 该模型在词元位置上的唯一 unigram 和 bigram 多样性更高，表明其生成的字幕更具变化性且重复性更低。
• Interpret-IC 成功纠正了基线模型的注意力错误，例如将错误关注的 'sheep' 降低权重，转而关注正确的 'duck'。
• 掩码通过为显著且相关的实体分配更高的注意力权重，提升了对象覆盖度，从而生成更准确、更丰富的字幕。
• 尽管未专门针对多样性进行训练，Interpret-IC 仍实现了 862 的词汇量（VS），超过基线模型（443），表明其词汇多样性得到显著提升。
• 该模型在 BLEU 和 ROUGE 等标准指标上保持了强劲表现，证实可解释性并未损害字幕质量。