[论文解读] Gated Hierarchical Attention for Image Captioning

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Oct 30, 2018

Multimodal Machine Learning Applications参考文献 43被引用 8

一句话总结

本文提出了一种门控分层注意力（GHA）机制，通过卷积解码器融合低级与高级视觉特征，实现多级注意力和动态特征门控，从而提升图像字幕生成性能。该方法在MSCOCO数据集上的CIDEr得分达到0.999，达到当前最先进模型的水平，且无需依赖强化学习或属性增强。

ABSTRACT

Attention modules connecting encoder and decoders have been widely applied in the field of object recognition, image captioning, visual question answering and neural machine translation, and significantly improves the performance. In this paper, we propose a bottom-up gated hierarchical attention (GHA) mechanism for image captioning. Our proposed model employs a CNN as the decoder which is able to learn different concepts at different layers, and apparently, different concepts correspond to different areas of an image. Therefore, we develop the GHA in which low-level concepts are merged into high-level concepts and simultaneously low-level attended features pass to the top to make predictions. Our GHA significantly improves the performance of the model that only applies one level attention, for example, the CIDEr score increases from 0.923 to 0.999, which is comparable to the state-of-the-art models that employ attributes boosting and reinforcement learning (RL). We also conduct extensive experiments to analyze the CNN decoder and our proposed GHA, and we find that deeper decoders cannot obtain better performance, and when the convolutional decoder becomes deeper the model is likely to collapse during training.

研究动机与目标

• 通过在视觉特征与语言生成之间实现多级注意力，提升图像字幕生成性能。
• 解决单一层次注意力机制无法捕捉细粒度视觉上下文的局限性。
• 探索卷积解码器在并行计算下建模序列语言生成的有效性。
• 分析更深的卷积解码器在图像字幕生成中的稳定性与性能权衡。
• 开发一种门控机制，根据相关性选择性地将低级视觉特征传递至高级表示。

提出的方法

• 提出一种门控分层注意力（GHA）机制，整合卷积解码器多个层级的视觉特征。
• 采用自底向上的方法，将低级特征合并至高级特征，门控机制控制信息流动。
• 应用视觉门控以过滤无关图像区域（如图像角落），并使用概念门控以强调依赖上下文的词汇。
• 采用基于Word-CNN的解码器，卷积核大小为3，共6层，可并行建模13个词，从而提升推理速度与性能。
• 引入双门控机制：视觉门控用于空间注意力，概念门控用于上下文依赖，二者均在训练过程中动态学习。
• 以预训练的Image-CNN特征图为输入，按解码器每层计算注意力，以实现分层交互。

实验结果

研究问题

• RQ1 能否通过融合多级视觉特征的分层注意力机制提升图像字幕生成性能？
• RQ2 与LSTM等循环模型相比，卷积解码器在性能与训练稳定性方面表现如何？
• RQ3 引入视觉门控与概念门控是否能增强特征选择能力并提升注意力的可解释性？
• RQ4 在图像字幕生成中，卷积解码器的最优深度与卷积核大小为何？更深的结构是否总能提升性能？
• RQ5 门控分层注意力机制是否能在不使用强化学习或属性增强的情况下，实现与最先进模型相当的性能？

主要发现

• 所提出的GHA机制将MSCOCO数据集上的CIDEr得分从0.923提升至0.999，性能达到使用强化学习或属性增强模型的水平。
• CIDEr相对提升8.2%，SPICE相对提升8.6%，显著提升了字幕质量与生成结果与参考文本的一致性。
• 更深的卷积解码器（如超过6层）虽理论感受野更大，但导致训练不稳定与模型崩溃。
• 将卷积核大小增加至5或7（超过3）会略微降低性能，CIDEr分别下降至0.914与0.913。
• 当注意力聚焦于非物体区域（如图像角落）时，视觉门控主要处于关闭状态；而功能词如'a'或'of'则更依赖概念门控，表明其具有上下文依赖性。
• 门控机制实现了分层切换：视觉门控过滤局部特征，而概念门控则在较低解码层促进上下文理解。