[论文解读] Fine-Grained Image Captioning with Global-Local Discriminative Objective

Jie Wu, Tianshui Chen+4 more|arXiv (Cornell University)|Jul 21, 2020

Multimodal Machine Learning Applications参考文献 74被引用 8

一句话总结

本文提出了一种用于细粒度图像字幕生成的全局-局部判别性目标，通过结合全局判别性约束（用于区分与之相似的图像）和局部判别性约束（用于强调罕见且信息量大的短语），提升了字幕的准确性和判别能力。该方法在 MS-COCO 数据集上实现了最先进性能，显著优于基线模型，在字幕质量和判别能力方面均有提升。

ABSTRACT

Significant progress has been made in recent years in image captioning, an active topic in the fields of vision and language. However, existing methods tend to yield overly general captions and consist of some of the most frequent words/phrases, resulting in inaccurate and indistinguishable descriptions (see Figure 1). This is primarily due to (i) the conservative characteristic of traditional training objectives that drives the model to generate correct but hardly discriminative captions for similar images and (ii) the uneven word distribution of the ground-truth captions, which encourages generating highly frequent words/phrases while suppressing the less frequent but more concrete ones. In this work, we propose a novel global-local discriminative objective that is formulated on top of a reference model to facilitate generating fine-grained descriptive captions. Specifically, from a global perspective, we design a novel global discriminative constraint that pulls the generated sentence to better discern the corresponding image from all others in the entire dataset. From the local perspective, a local discriminative constraint is proposed to increase attention such that it emphasizes the less frequent but more concrete words/phrases, thus facilitating the generation of captions that better describe the visual details of the given images. We evaluate the proposed method on the widely used MS-COCO dataset, where it outperforms the baseline methods by a sizable margin and achieves competitive performance over existing leading approaches. We also conduct self-retrieval experiments to demonstrate the discriminability of the proposed method.

研究动机与目标

• 解决现有图像字幕模型在生成过于通用、缺乏判别性的字幕时所面临的局限，原因在于保守的训练目标以及真实字幕中词频分布不均。
• 通过强调较少出现、更具表现力的视觉细节，提升细粒度、描述性字幕的生成能力，从而增强判别性。
• 通过引入在全局（图像级）和局部（短语级）尺度上同时运作的双重约束机制，实现字幕多样性与准确性的平衡。
• 通过在 MS-COCO 上的定量评估以及衡量字幕判别能力的自检索实验，验证所提方法的有效性。

提出的方法

• 通过排序损失实现全局判别性约束，使生成的字幕在嵌入空间中更接近其真实图像，同时远离数据集中其他相似图像。
• 通过基于 TF-IDF 分数重新加权单个词/短语的奖励，赋予较少出现、更具信息量的短语更高奖励，以抵消对高频词的偏见。
• 将两种约束应用于参考字幕模型之上，采用强化学习方法，使用结合了全局和局部判别信号的改进奖励函数。
• 通过预计算相似度矩阵和 TF-IDF 权重，降低训练开销，确保在增加约束的情况下仍保持计算效率。
• 训练流程按顺序整合全局和局部约束：首先识别用于排序损失的相似图像，然后重新加权短语级奖励，最后进行反向传播。
• 采用标准指标（如 CIDEr、BLEU 等）和自检索准确率对方法进行评估，以衡量判别能力和字幕质量。

实验结果

研究问题

• RQ1 全局判别性约束是否能通过将字幕拉近其正确图像并推远其他图像，提升图像字幕模型在区分相似图像方面的能力？
• RQ2 通过重新加权罕见且信息量大的短语的局部判别性约束，是否能提升细粒度、描述性字幕的生成质量？
• RQ3 结合全局和局部判别性约束是否能比单独使用任一约束获得更优的字幕准确性、多样性与判别性之间的权衡？
• RQ4 在标准字幕指标和自检索性能方面，所提方法与现有最先进方法相比表现如何？

主要发现

• 所提出的全局-局部判别性（GLD）目标在 MS-COCO 测试-UNIDEF 分割上取得了 128.7 的 CIDEr 分数，相比基线模型 TDA+ 提升了 2.80%。
• TDA+GLD 模型的自检索准确率达到 87.4%，表明生成字幕具有强大的判别能力。
• 消融实验确认，全局和局部约束均独立地对性能有所贡献：全局约束提升了图像级判别能力，局部约束增强了短语级细节表达。
• 该方法成功减少了对过于常见的短语（如 'a man' 或 'sitting'）的生成，同时增加了更具体、更具信息量的术语（如 'an old man' 或 'using a computer'）的使用。
• 尽管性能有所提升，该方法偶尔会生成过于强调判别性的字幕，与真实描述对齐度降低，表明全局约束可能需要引入自适应阈值机制。