[论文解读] A Neural Compositional Paradigm for Image Captioning

Bo Dai, Sanja Fidler+1 more|arXiv (Cornell University)|Oct 23, 2018

Multimodal Machine Learning Applications参考文献 32被引用 24

一句话总结

本文提出了一种用于图像字幕生成的神经组合范式，将语义内容提取与句法字幕生成解耦。与自回归生成不同，该方法首先从图像中提取名词短语，然后使用可学习模块递归组合这些短语，从而生成更具多样性、语义更准确且泛化能力更强的字幕，在下游指标上表现更优。

ABSTRACT

Mainstream captioning models often follow a sequential structure to generate captions, leading to issues such as introduction of irrelevant semantics, lack of diversity in the generated captions, and inadequate generalization performance. In this paper, we present an alternative paradigm for image captioning, which factorizes the captioning procedure into two stages: (1) extracting an explicit semantic representation from the given image; and (2) constructing the caption based on a recursive compositional procedure in a bottom-up manner. Compared to conventional ones, our paradigm better preserves the semantic content through an explicit factorization of semantics and syntax. By using the compositional generation procedure, caption construction follows a recursive structure, which naturally fits the properties of human language. Moreover, the proposed compositional procedure requires less data to train, generalizes better, and yields more diverse captions.

研究动机与目标

• 解决依赖n-gram统计的自回归字幕模型存在的局限性，避免生成语义错误或重复的字幕。
• 通过在图像字幕中显式分解语义与句法，提升字幕的多样性与语义准确性。
• 通过利用分层的组合式生成过程，减少对训练数据量的依赖，实现更好的泛化能力。
• 开发一种更具可解释性与可控性的字幕生成框架，以反映自然语言的分层结构。

提出的方法

• 该方法首先使用专用模块从图像中提取显式的语义表征，即一组名词短语。
• 然后通过一种递归的、自底向上的组合过程，利用可学习的连接短语模块将子短语组合成完整字幕。
• 一个独立的评估模块用于判断某个短语是否完成，从而实现受控且结构化的组合过程。
• 组合过程通过两个参数化模块端到端可训练：连接模块与完成度评估模块。
• 该方法避免逐词顺序生成，而是通过分层构建短语以反映语言结构。
• 推理阶段采用基于得分的束搜索（beam search）策略，为每张图像生成多个多样化的字幕。

实验结果

研究问题

• RQ1 通过在图像字幕中将语义与句法解耦，组合式字幕框架能否提升语义准确性？
• RQ2 与自回归模型相比，递归组合式生成在字幕多样性与泛化能力方面表现如何？
• RQ3 所提出的方法在多大程度上能减少对训练数据中频繁n-gram的依赖，同时保持或提升性能？
• RQ4 显式分解名词短语是否能带来更具可解释性与可控性的字幕生成？
• RQ5 与标准自回归模型相比，该模型在低数据场景下的表现如何？

主要发现

• CompCap的唯一字幕比例达到83.86%，显著优于基线模型，表明生成字幕具有高度新颖性。
• 该模型在数据集层面的多样性得分为9.85，为所有方法中最高，证明其具备强大的字幕多样性。
• 仅使用10%的训练数据，CompCap仍保持强劲性能，显示出相比自回归模型更优的泛化能力。
• 与基线相比，该模型在SPICE得分上提升0.058，CIDEr得分提升0.043，表明语义与流畅性对齐更优。
• 消融实验表明，组合结构在不牺牲语义正确性的前提下显著提升了多样性。
• 失败案例主要源于名词短语提取或组合过程中的错误，而非组合机制本身存在固有缺陷。