[论文解读] Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech

Aditya Deshpande, Jyoti Aneja+3 more|arXiv (Cornell University)|May 31, 2018

Multimodal Machine Learning Applications参考文献 34被引用 13

一句话总结

本文提出了一种快速、准确且多样化的图像字幕生成方法，通过将字幕生成条件化在量化后的词性（POS）标签序列上作为图像的高层摘要。通过从图像中预测多种POS序列，并基于每种序列生成字幕，该方法在准确率、速度和多样性方面均优于束搜索、多样化束搜索、变分自编码器（VAE）和生成对抗网络（GAN）方法。

ABSTRACT

Image captioning is an ambiguous problem, with many suitable captions for an image. To address ambiguity, beam search is the de facto method for sampling multiple captions. However, beam search is computationally expensive and known to produce generic captions. To address this concern, some variational auto-encoder (VAE) and generative adversarial net (GAN) based methods have been proposed. Though diverse, GAN and VAE are less accurate. In this paper, we first predict a meaningful summary of the image, then generate the caption based on that summary. We use part-of-speech as summaries, since our summary should drive caption generation. We achieve the trifecta: (1) High accuracy for the diverse captions as evaluated by standard captioning metrics and user studies; (2) Faster computation of diverse captions compared to beam search and diverse beam search; and (3) High diversity as evaluated by counting novel sentences, distinct n-grams and mutual overlap (i.e., mBleu-4) scores.

研究动机与目标

• 解决在图像描述固有的模糊性背景下，生成多样、准确且计算高效的图像字幕的挑战。
• 克服束搜索方法速度慢且生成通用性高、多样性低的字幕的局限性。
• 改进VAE和基于GAN的方法，这些方法因不可解释的潜在空间而牺牲了准确率。
• 开发一种字幕生成系统，利用有意义且可解释的图像摘要（即POS序列）来引导多样且准确的字幕生成。

提出的方法

• 使用卷积神经网络提取图像特征，并预测一组量化后的词性（POS）标签，作为图像的高层摘要。
• 将字幕生成网络条件化于每个预测的POS序列，以生成与摘要所暗示的语言结构相匹配的字幕。
• 采用基于卷积神经网络的语言解码器逐词生成字幕，同时仅在每个POS摘要上应用窄束搜索，以确保速度。
• 在联合训练过程中使用Gumbel-Softmax采样，以实现POS预测头的可微训练，同时在推理时仍使用argmax以保持速度。
• 利用POS标签的可解释性来引导字幕多样性——例如，强制在特定位置增加形容词或名词——而无需依赖非结构化的潜在变量。
• 将字幕生成模型与POS预测器联合训练，构建端到端可微的框架，实现图像到POS和POS到字幕生成的联合优化。

实验结果

研究问题

• RQ1 词性标签序列能否作为有效且可解释的摘要，用于引导多样且准确的图像字幕生成？
• RQ2 将字幕生成条件化于多个POS序列，是否能相比束搜索和多样化束搜索带来更高的字幕多样性？
• RQ3 基于POS的方法能否在保持更快推理速度的同时，实现比VAE和GAN方法更高的准确率？
• RQ4 在用户研究和标准评估指标（如CIDEr、Spice和mBleu-4）中，基于POS的字幕在多大程度上优于现有方法？

主要发现

• 基于POS的方法实现了高准确率、快速推理和高多样性的三重优势，优于束搜索、多样化束搜索、AG-CVAE和基于GAN的方法。
• 在COCO测试集上，基于POS的字幕生成了10.94%的句子在4-gram层面完全无重叠（mBleu-4 = 0），显著优于多样化束搜索（1.02%）和束搜索（2.4%）。
• 该方法比束搜索和多样化束搜索快5倍，其时间复杂度与VAE和GAN方法相当。
• 基于POS的字幕在CIDEr和Spice指标上的最佳1分和最佳10分准确率均高于AG-CVAE，表明其字幕质量更优。
• 在123名参与者的用户研究中，基于POS生成的字幕在68.3%的比较中优于束搜索字幕，在62.1%的比较中优于AG-CVAE字幕。
• 基于POS的方法在每张图像生成20个字幕后，产生了96.3%的唯一字幕（平均19.26个唯一句子），在联合训练中100个字幕中有91.55个是唯一的，其新颖句子和独特n-gram多样性均高于所有基线方法。