[论文解读] Fast Image Caption Generation with Position Alignment

Zhengcong Fei|arXiv (Cornell University)|Dec 13, 2019

Multimodal Machine Learning Applications参考文献 28被引用 25

一句话总结

本文提出 FNIC，一种非自回归图像字幕模型，通过引入位置对齐模块来排序检测到的物体并引导句子生成，从而加速生成过程。通过建模位置感知的粗粒度字幕并采用非确定性推理策略，FNIC 在接近自回归模型性能的同时，实现近 8 倍的加速，显著减少了词重复和遗漏错误。

ABSTRACT

Recent neural network models for image captioning usually employ an encoder-decoder architecture, where the decoder adopts a recursive sequence decoding way. However, such autoregressive decoding may result in sequential error accumulation and slow generation which limit the applications in practice. Non-autoregressive (NA) decoding has been proposed to cover these issues but suffers from language quality problem due to the indirect modeling of the target distribution. Towards that end, we propose an improved NA prediction framework to accelerate image captioning. Our decoding part consists of a position alignment to order the words that describe the content detected in the given image, and a fine non-autoregressive decoder to generate elegant descriptions. Furthermore, we introduce an inference strategy that regards position information as a latent variable to guide the further sentence generation. The Experimental results on public datasets show that our proposed model achieves better performance compared to general NA captioning models, while achieves comparable performance as autoregressive image captioning models with a significant speedup.

研究动机与目标

• 解决自回归图像字幕模型因逐词生成而导致的推理速度慢的问题。
• 克服非自回归（NA）字幕生成中因间接建模目标词分布而引起的流畅性和准确性问题。
• 通过显式引入检测到的物体的空间和语义位置信息，提升非自回归字幕的质量。
• 开发一种利用位置有序词作为潜在引导的推理策略，以减少解码歧义并提升句子连贯性。

提出的方法

• 引入一种轻量级基于 GRU 的位置对齐模块，通过空间位置对检测到的物体进行排序，以生成粗粒度字幕词。
• 将有序的粗粒度词用作最终非自回归解码器的结构引导，以生成流畅且连贯的句子。
• 采用非确定性概率推理策略，将粗粒度词序列视为潜在变量，以减少信息损失。
• 用位置有序的对象描述替换标准非自回归解码器的输入（复制的视觉特征），以更好地对齐视觉与语言结构。
• 利用目标检测特征作为位置对齐模块的输入，实现生成词的空间定位。
• 通过同时基于视觉特征和位置对齐的粗粒度字幕，对最终句子进行微调。

实验结果

研究问题

• RQ1 非自回归图像字幕能否在显著提升推理速度的同时，实现与自回归模型相当的性能？
• RQ2 显式引入位置对齐如何提升非自回归字幕的流畅性和准确性？
• RQ3 将粗粒度、位置有序的词作为潜在引导，在多大程度上能减少解码歧义并提升句子质量？
• RQ4 非确定性推理策略是否在保持语义准确性和多样性方面优于确定性推理？

主要发现

• FNIC 在 COCO 和 Flickr30k 基准测试中，推理速度接近自回归模型的 8 倍，同时保持了相当的性能水平。
• 采用单层 GRU 位置对齐模块的模型在字幕质量上优于更大的非自回归模型（如单层 Transformer），表明基于位置引导的粗粒度字幕建模具有显著有效性。
• 使用 GRU 基础对齐的 FNIC 在 COCO Karpathy 测试集的多数指标上超越了多个强大的自回归模型（如 SCST、ADP-ATT、LSTM-A）。
• 与确定性推理相比，非确定性推理策略减少了信息损失，但当粗粒度词本身已足够准确时，性能增益较小。
• FNIC 生成的字幕多样性高于自回归模型，其唯一字幕占比达 87.12%，词汇使用率 12.16%，显著高于 Up-Down（61.58% 唯一）和 GCN-LSTM（83.22% 唯一）。
• 案例研究证实，FNIC 有效缓解了非自回归模型常见的问题，如词重复和物体遗漏，而这些问题在很大程度上源于粗粒度词生成中的错误。