[论文解读] Image Captioning with Context-Aware Auxiliary Guidance

Zeliang Song, Xiaofei Zhou+2 more|arXiv (Cornell University)|Dec 10, 2020

Multimodal Machine Learning Applications参考文献 42被引用 5

一句话总结

本文提出上下文感知辅助引导（CAAG），一种新颖机制，通过在训练过程中利用未来预测的词语来增强模型的语义理解能力，从而提升图像字幕生成性能。通过在全局预测上使用软注意力机制，CAAG引导主字幕生成网络生成更准确、更丰富的字幕，在COCO Karpathy数据集上达到132.2的CIDEr-D得分，且在三个强基线模型上均实现一致性能提升。

ABSTRACT

Image captioning is a challenging computer vision task, which aims to generate a natural language description of an image. Most recent researches follow the encoder-decoder framework which depends heavily on the previous generated words for the current prediction. Such methods can not effectively take advantage of the future predicted information to learn complete semantics. In this paper, we propose Context-Aware Auxiliary Guidance (CAAG) mechanism that can guide the captioning model to perceive global contexts. Upon the captioning model, CAAG performs semantic attention that selectively concentrates on useful information of the global predictions to reproduce the current generation. To validate the adaptability of the method, we apply CAAG to three popular captioners and our proposal achieves competitive performance on the challenging Microsoft COCO image captioning benchmark, e.g. 132.2 CIDEr-D score on Karpathy split and 130.7 CIDEr-D (c40) score on official online evaluation server.

研究动机与目标

• 解决自回归字幕模型仅依赖过去预测所导致的语义学习不完整问题。
• 通过在训练过程中使模型能够感知并利用未来预测词语的全局上下文，提升场景理解能力。
• 开发一种通用、即插即用的模块，无需对现有强化学习基底字幕模型进行架构重构即可实现性能增强。
• 在具有挑战性的COCO基准上，验证该方法在多种最先进字幕架构中的有效性与适应性。

提出的方法

• CAAG首先利用主字幕生成网络在推理阶段通过贪婪解码生成完整句子（全局上下文）。
• 在每个解码步骤中，CAAG对全局预测结果执行语义注意力，以选择性关注有助于当前词生成的相关未来标记。
• 该机制采用软注意力计算当前隐藏状态与所有未来预测标记之间的注意力权重，实现对信息性上下文的动态聚焦。
• CAAG采用基于策略梯度（REINFORCE）的强化学习目标进行训练，以优化CIDEr-D等序列级指标。
• 推理阶段，束搜索联合使用主网络与CAAG生成最终字幕，同时利用局部与全局上下文信息。
• 该方法作为辅助引导模块应用于三种现有字幕模型：Att2all、Up-Down与AoANet，展现出强大的泛化能力。

实验结果

研究问题

• RQ1 未来预测的词语能否为当前词语预测提供有意义的上下文信息，从而改善图像字幕生成？
• RQ2 将来自未来预测的全局语义上下文引入后，生成字幕的质量与准确性是否得到提升？
• RQ3 像CAAG这样通用的、非架构依赖的改进方法，能否在多种基于注意力机制的LSTM字幕模型中持续提升性能？
• RQ4 通过使模型实现更完整的语义学习，CAAG是否能有效缓解暴露偏差并提升模型泛化能力？
• RQ5 在捕捉全局预测中的有用上下文方面，CAAG与硬注意力及其他注意力变体相比表现如何？

主要发现

• 在COCO Karpathy测试集上，CAAG达到132.2的CIDEr-D得分，表明其在标准基准上的强大性能。
• 在COCO官方在线评估服务器上，CAAG取得130.7的CIDEr-D（c40）得分，证实其在真实场景中的鲁棒性。
• 在Karpathy数据集上，CAAG将基于自顶向下注意力机制的LSTM解码器的CIDEr-D得分从123.4提升至128.8，显示出显著性能增益。
• 人工评估显示，在三组基线模型的比较中，使用CAAG生成的字幕在60%-70%的对比中被认为更具描述性。
• 可视化结果表明，CAAG能有效关注语义相关的未来标记——例如在生成'riding'时关注'bike'，验证了其对上下文的有效利用。
• 采用软注意力的CAAG优于硬注意力与无引导基线，证明了对全局预测进行连续、选择性注意力的重要性。