[论文解读] Image Captioning Based on a Hierarchical Attention Mechanism and Policy Gradient Optimization

Shiyang Yan, Yuan Xie+4 more|arXiv (Cornell University)|Nov 13, 2018

Multimodal Machine Learning Applications参考文献 65被引用 7

一句话总结

该论文提出了一种分层注意力机制，通过Faster R-CNN结合全局CNN特征与局部物体特征，并引入生成对抗网络（GAN）与策略梯度强化学习框架，以提升图像字幕生成性能。该方法仅使用贪婪解码即在MSCOCO数据集上达到最先进（SOTA）性能，在BLEU-1、METEOR和ROUGE-L指标上优于先前方法，通过显式优化字幕连贯性与图像一致性实现性能提升。

ABSTRACT

Automatically generating the descriptions of an image, i.e., image captioning, is an important and fundamental topic in artificial intelligence, which bridges the gap between computer vision and natural language processing. Based on the successful deep learning models, especially the CNN model and Long Short-Term Memories (LSTMs) with attention mechanism, we propose a hierarchical attention model by utilizing both of the global CNN features and the local object features for more effective feature representation and reasoning in image captioning. The generative adversarial network (GAN), together with a reinforcement learning (RL) algorithm, is applied to solve the exposure bias problem in RNN-based supervised training for language problems. In addition, through the automatic measurement of the consistency between the generated caption and the image content by the discriminator in the GAN framework and RL optimization, we make the finally generated sentences more accurate and natural. Comprehensive experiments show the improved performance of the hierarchical attention mechanism and the effectiveness of our RL-based optimization method. Our model achieves state-of-the-art results on several important metrics in the MSCOCO dataset, using only greedy inference.

研究动机与目标

• 解决全局图像特征在捕捉图像字幕生成中细粒度视觉细节方面的局限性。
• 通过整合强化学习克服基于RNN的最大似然训练中的暴露偏差问题。
• 通过对抗训练提升生成句子与图像内容的一致性，从而改善字幕质量。
• 在不依赖外部知识或复杂推理策略（如束搜索）的情况下实现最先进性能。

提出的方法

• 提出一种分层注意力机制，联合使用预训练CNN的全局图像特征与Faster R-CNN检测得到的局部物体特征。
• 对全局与局部特征应用视觉注意力机制，在字幕生成过程中动态关注相关图像区域。
• 采用条件GAN框架，其中判别器评估生成字幕与图像内容之间的一致性。
• 使用基于判别器输出的奖励信号进行策略梯度优化，以训练字幕生成器，即使在语言具有离散性的情况下也能实现端到端训练。
• 采用三步训练策略：先预训练图像编码器与物体检测器，然后使用最大似然估计（MLE）训练字幕模型，最后通过强化学习进行微调。
• 利用判别器的反馈作为密集奖励信号，优化策略网络以生成更准确、更自然的字幕。

实验结果

研究问题

• RQ1 通过分层注意力机制结合全局与局部视觉特征，能否提升图像字幕生成性能？
• RQ2 与基于MLE的训练相比，将GAN与策略梯度优化相结合，能否有效减少暴露偏差并提升字幕质量？
• RQ3 一个用于评估字幕-图像一致性的判别器，能否作为强化学习字幕生成的有效奖励信号？
• RQ4 所提出方法在仅使用贪婪解码、不依赖束搜索或外部知识的情况下，能在多大程度上实现最先进性能？

主要发现

• 所提模型在MSCOCO Karpathy测试集上达到最先进性能，在BLEU-1（73.036）、METEOR（53.688）和ROUGE-L（39.069）指标上优于先前方法。
• 在定性分析中，该模型显著优于基于MLE的基线模型，生成的字幕更准确、更自然，尤其在捕捉性别等细粒度属性方面表现更优。
• 分层注意力机制有助于更精准地定位相关图像区域，注意力图与生成词语的语义内容高度对齐。
• 基于判别器的奖励信号能有效引导策略网络生成更连贯、更符合图像内容的字幕，即使在无外部知识或束搜索的情况下亦然。
• 该模型在仅使用贪婪推理的情况下，性能与当前最先进方法（Embedding Reward [67]）相当，充分证明了训练过程的有效性。