[论文解读] Learning to Guide Decoding for Image Captioning

Wenhao Jiang, Lin Ma+3 more|arXiv (Cornell University)|Apr 3, 2018

Multimodal Machine Learning Applications被引用 23

一句话总结

本文提出了一种引导神经网络，通过在每个时间步向解码器注入图像和语言信息，学习自适应的端到端上下文向量，以增强图像字幕生成。该方法在 MS COCO 数据集上提升了字幕质量，实现了 0.983 的 SOTA CIDEr 得分，得益于判别式监督和引导注意力机制。

ABSTRACT

Recently, much advance has been made in image captioning, and an encoder-decoder framework has achieved outstanding performance for this task. In this paper, we propose an extension of the encoder-decoder framework by adding a component called guiding network. The guiding network models the attribute properties of input images, and its output is leveraged to compose the input of the decoder at each time step. The guiding network can be plugged into the current encoder-decoder framework and trained in an end-to-end manner. Hence, the guiding vector can be adaptively learned according to the signal from the decoder, making itself to embed information from both image and language. Additionally, discriminative supervision can be employed to further improve the quality of guidance. The advantages of our proposed approach are verified by experiments carried out on the MS COCO dataset.

研究动机与目标

• 通过在解码器输入中引入动态引导，解决图像字幕生成中图像内容保真度与语言流畅性之间的平衡挑战。
• 通过学习上下文感知的引导向量，克服固定或人工设计的注意力与嵌入注入方法的局限性。
• 通过生成式和判别式信号的联合使用，实现引导网络的端到端训练，以改善图像与语言之间的对齐。
• 通过允许引导向量自适应地嵌入视觉和语言信息，提升字幕的多样性与准确性。

提出的方法

• 引入一个引导神经网络，处理图像特征和解码器隐藏状态，以在每个解码步骤生成上下文感知的引导向量。
• 通过将引导向量与词嵌入和前一隐藏状态拼接，将其集成到解码器输入中。
• 通过解码器损失的反向传播，端到端训练引导网络，实现图像与语言理解的联合优化。
• 通过在预测词上的交叉熵损失施加判别式监督，以优化引导向量的表征。
• 使用一个回顾网络来优化标注向量，提升注意力质量，增强解码器对显著图像区域的关注。
• 结合多种监督信号：生成式（词上的交叉熵）和判别式（词级监督），以实现鲁棒的引导学习。

实验结果

研究问题

• RQ1 可学习的引导网络能否通过在解码器中动态注入图像和语言信息，提升图像字幕的质量？
• RQ2 对词预测施加判别式监督，如何影响引导网络在字幕生成中的性能？
• RQ3 图像级特征（MIL）与标注向量对引导网络有效性的相对贡献是什么？
• RQ4 与标准注意力机制或回顾网络相比，引导网络是否能提升字幕的多样性并减少重复？

主要发现

• 所提出的 LTG-Review-Net 在 MS COCO 验证集上实现了 0.983 的 SOTA CIDEr 得分，优于基线模型如 MIL-Review-Net（0.975）和 Soft Attention（0.936）。
• 在判别式监督中采用 λ=10 的权衡权重时性能最佳，CIDEr 从 λ=0.01 时的 0.939 提升至 0.983，表明优化有效。
• 同时使用 MIL 和标注向量的引导网络表现最佳（CIDEr: 0.983），而两者均移除时性能最差（CIDEr: 0.958），证实了其互补作用。
• 与基线相比，该模型生成的唯一词数显著更多（840 个），而 MIL-Review-Net 为 745 个，Soft Attention 为 793 个，表明词汇多样性与覆盖度得到提升。
• 消融实验表明，MIL 特征与标注向量均对性能有显著贡献，无单一组件占绝对主导地位。
• 引导网络嵌入视觉与语言信息的能力，使生成的字幕更准确、更富多样性，这一结论在定性示例中通过改进的词识别能力得到验证。