[论文解读] Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning

Shikha Dubey, Farrukh Olimov+3 more|arXiv (Cornell University)|Sep 16, 2021

Multimodal Machine Learning Applications参考文献 44被引用 4

一句话总结

本文提出 LATGeO，一种用于图像字幕生成的标签注意力 Transformer 模型，通过整合几何一致的对象提议和一种新颖的标签注意力模块，提升了字幕质量。通过利用目标检测、局部化几何比例以及标签感知注意力，LATGeO 在 MSCOCO 上实现了最先进性能，CIDEr 得分为 131.7，BLEU-1 得分为 81.0。

ABSTRACT

Automatic transcription of scene understanding in images and videos is a step towards artificial general intelligence. Image captioning is a nomenclature for describing meaningful information in an image using computer vision techniques. Automated image captioning techniques utilize encoder and decoder architecture, where the encoder extracts features from an image and the decoder generates a transcript. In this work, we investigate two unexplored ideas for image captioning using transformers: First, we demonstrate the enforcement of using objects' relevance in the surrounding environment. Second, learning an explicit association between labels and language constructs. We propose label-attention Transformer with geometrically coherent objects (LATGeO). The proposed technique acquires a proposal of geometrically coherent objects using a deep neural network (DNN) and generates captions by investigating their relationships using a label-attention module. Object coherence is defined using the localized ratio of the geometrical properties of the proposals. The label-attention module associates the extracted objects classes to the available dictionary using self-attention layers. The experimentation results show that objects' relevance in surroundings and binding of their visual feature with their geometrically localized ratios combined with its associated labels help in defining meaningful captions. The proposed framework is tested on the MSCOCO dataset, and a thorough evaluation resulting in overall better quantitative scores pronounces its superiority.

研究动机与目标

• 解决现有图像字幕模型中对象关系建模不足以及视觉-语义对齐不明确的问题。
• 通过将基于局部化对象尺寸比例的几何一致性融入注意力机制，提升字幕质量。
• 通过引入标签注意力模块，在解码过程中将检测到的对象类别与语言结构关联，弥合视觉与语言模态的鸿沟。
• 证明结合对象级特征、空间几何信息与标签感知注意力，可生成更具语义准确性和上下文相关性的字幕。
• 在单模型架构下不使用集成方法，实现在 MS COCO 基准上的卓越性能。

提出的方法

• 使用 Faster R-CNN 提取对象提议作为视觉输入，提供细粒度的区域级特征。
• 通过测量对象尺寸的局部化比例（如高/宽或相对大小）来计算几何一致性，以编码空间关系。
• 引入标签注意力模块（LAM），通过自注意力机制将对象类别标签作为先验信息注入每个解码器层，增强语义定位能力。
• 采用全连接编码器-解码器 Transformer 架构，使所有编码器输出连接到所有解码器输入，以实现多层次特征融合。
• 使用交叉熵损失进行训练，并通过强化学习（PPO）微调，以优化 CIDEr 和 SPICE 等密集评估指标。
• 在编码器和解码器堆栈中使用残差连接和跳跃连接，以稳定训练并改善梯度流动。

实验结果

研究问题

• RQ1 基于局部化对象尺寸比例定义的几何一致对象提议，能否提升图像字幕模型的空间推理能力？
• RQ2 在解码注意力中显式关联对象标签，是否能提升视觉内容与生成语言之间的对齐程度？
• RQ3 全连接编码器-解码器 Transformer 架构与标准堆叠式或跳跃连接变体相比，在图像字幕任务中表现如何？
• RQ4 单模型 LATGeO 框架能否在自动评估和人工评估指标上均优于多模型集成方法？
• RQ5 为实现最先进性能，编码器-解码器层连接与深度的最佳配置是什么？

主要发现

• LATGeO 在 MS COCO 测试集上取得 131.7 的 CIDEr 得分，使用单模型超越了先前的最先进方法。
• 模型取得 81.0 的 BLEU-1 得分，表明与参考字幕在 n-gram 重叠方面表现优异。
• 包含 3 层的全连接编码器-解码器架构，且编码器和解码器层均使用残差连接，性能最佳。
• 消融实验表明，标签注意力模块显著提升了性能，尤其在 SPICE（22.9）和 ROUGE-L（58.7）指标上。
• 通过强化学习微调进一步提升了 CIDEr 和 SPICE 得分，证明了在线优化的有效性。
• 使用几何一致的对象提议可生成更准确的空间描述，如“在……前面”或“在……旁边”，提升了上下文真实感。