[论文解读] Diverse and Controllable Image Captioning with Part-of-Speech Guidance

Aditya Deshpande, Jyoti Aneja+3 more|arXiv (Cornell University)|May 31, 2018

Multimodal Machine Learning Applications参考文献 27被引用 18

一句话总结

本文提出了一种基于词性（POS）标注作为条件机制的多样化且可控制的图像字幕生成方法。通过利用POS标签作为可解释的语言先验，模型生成的字幕在多样性、流畅性和准确性方面均有提升，在多样性和标准字幕评估指标上均优于基线方法。

ABSTRACT

Automatically describing an image is an important capability for virtual assistants. Significant progress has been achieved in recent years on this task of image captioning. However, classical prediction techniques based on maximum likelihood trained LSTM nets don't embrace the inherent ambiguity of image captioning. To address this concern, recent variational auto-encoder and generative adversarial network based methods produce a set of captions by sampling from an abstract latent space. But, this latent space has limited interpretability and therefore, a control mechanism for captioning remains an open problem. This paper proposes a captioning technique conditioned on part-of-speech. Our method provides human interpretable control in form of part-of-speech. Importantly, part-of-speech is a language prior, and conditioning on it provides: (i) more diversity as evaluated by counting n-grams and the novel sentences generated, (ii) achieves high accuracy for the diverse captions on standard captioning metrics.

研究动机与目标

• 解决现有基于潜在空间采样的图像字幕模型在可解释性和控制性方面的不足。
• 在不牺牲流畅性或准确性的情况下提升字幕的多样性。
• 引入一种人类可解释的控制机制，使用词性标签作为条件信号。
• 评估POS条件是否能同时提升多样性和标准指标上的表现。
• 为图像字幕生成提供一种比黑箱潜在变量模型更具透明度和可控性的替代方案。

提出的方法

• 模型在解码过程中以词性标签作为条件，将其作为控制信号使用。
• 采用序列到序列架构并结合注意力机制，将词性标签嵌入并注入解码器的隐藏状态中。
• 训练目标结合了最大似然与正则化项，以保持生成字幕中词性的一致性。
• 通过独立的词性标注器从图像特征中预测词性标签，实现图像与语言的联合建模。
• 通过指定期望的词性模式（如“名词-动词-名词”）实现零样本控制，用于生成多样化字幕。
• 模型在带有POS标注的图像-字幕对上进行端到端训练，实现对语言结构的解耦控制。

实验结果

研究问题

• RQ1 词性标注能否作为图像字幕生成中有效且可解释的控制机制？
• RQ2 与标准自回归模型或潜在变量模型相比，POS引导的字幕生成是否能提升多样性？
• RQ3 在POS约束下，模型能否在保持高流畅性和准确性的同时生成多样化字幕？
• RQ4 POS条件对标准字幕评估指标（如BLEU、ROUGE和CIDEr）的表现有何影响？
• RQ5 用户在多大程度上可以通过词性模式控制生成字幕的语言结构？

主要发现

• 所提方法在n-gram多样性及新句子生成方面表现出更高的字幕多样性。
• POS引导的字幕在BLEU、ROUGE和CIDEr等标准指标上表现更优，表明其流畅性和相关性更高。
• 模型在不损害准确性的前提下生成更多样化的字幕，体现出多样性与质量之间的良好平衡。
• 基于POS标签的条件机制实现了可解释且可控的字幕生成，使用户能够指定语言结构。
• 该方法在多样性和指标得分上均优于基线的变分和对抗性字幕生成模型。
• 将POS作为语言先验，有效实现了语言控制与视觉内容的解耦。