[论文解读] Dual-Level Collaborative Transformer for Image Captioning

Yunpeng Luo, Jiayi Ji+6 more|arXiv (Cornell University)|Jan 16, 2021

Multimodal Machine Learning Applications参考文献 31被引用 24

一句话总结

本文提出了一种双层次协作Transformer（DLCT），通过融合目标检测的区域特征与卷积网络的网格特征，实现图像字幕生成。通过引入双路自注意力机制与全面关系注意力机制进行层次内特征建模，以及通过局部约束交叉注意力与几何对齐图实现层次间特征融合，DLCT有效降低了语义噪声并增强了特征互补性，在Karpathy划分上达到133.8%的CIDEr得分，在官方MS-COCO测试集上达到135.4%，性能达到当前最先进水平。

ABSTRACT

Descriptive region features extracted by object detection networks have played an important role in the recent advancements of image captioning. However, they are still criticized for the lack of contextual information and fine-grained details, which in contrast are the merits of traditional grid features. In this paper, we introduce a novel Dual-Level Collaborative Transformer (DLCT) network to realize the complementary advantages of the two features. Concretely, in DLCT, these two features are first processed by a novelDual-way Self Attenion (DWSA) to mine their intrinsic properties, where a Comprehensive Relation Attention component is also introduced to embed the geometric information. In addition, we propose a Locality-Constrained Cross Attention module to address the semantic noises caused by the direct fusion of these two features, where a geometric alignment graph is constructed to accurately align and reinforce region and grid features. To validate our model, we conduct extensive experiments on the highly competitive MS-COCO dataset, and achieve new state-of-the-art performance on both local and online test sets, i.e., 133.8% CIDEr-D on Karpathy split and 135.4% CIDEr on the official split. Code is available at https://github.com/luo3300612/image-captioning-DLCT.

研究动机与目标

• 为解决区域特征在捕捉上下文与细粒度视觉细节方面的局限性。
• 克服在注意力机制中直接融合区域与网格特征所引发的语义噪声问题。
• 通过几何对齐实现区域与网格特征之间有效且无噪声的交互。
• 通过融合两类特征的互补优势，实现在图像字幕生成任务中的最先进性能。
• 构建统一框架，通过双层次协作增强视觉表征学习能力。

提出的方法

• 引入双路自注意力（DWSA）分别建模区域与网格特征的内在属性。
• 采用全面关系注意力（CRA）编码每类特征内部的绝对与相对几何关系。
• 提出局部约束交叉注意力（LCCA）并结合几何对齐图，引导区域与网格特征之间的交叉注意力。
• 基于空间邻近性与重叠度构建几何对齐图，确保仅语义相关的特征发生交互。
• 在编码器-解码器Transformer中使用多头注意力机制，基于融合后的视觉表征生成字幕。
• 应用学习得到的位置编码与几何先验，提升注意力定位能力与特征理解能力。

实验结果

研究问题

• RQ1 结合区域与网格特征是否能将图像字幕性能提升至仅使用其中一类特征的水平之上？
• RQ2 如何有效将几何先验整合进自注意力与交叉注意力机制中，以降低语义噪声？
• RQ3 具有几何对齐结构的交叉注意力对视觉表征质量有何影响？
• RQ4 所提出的双层次协作是否优于基于注意力机制的图像字幕任务中的标准融合策略？
• RQ5 通过受控的特征交互，该模型是否能更好地捕捉细粒度与上下文视觉细节？

主要发现

• DLCT在Karpathy划分上达到133.8%的CIDEr得分，在官方MS-COCO测试集上达到135.4%，创下新的最先进水平。
• 在基于LCCA的框架中引入全面关系注意力（CRA）后，CIDEr-D得分从133.0%提升至133.8%。
• 若移除LCCA，性能下降至132.6% CIDEr，证明其在噪声抑制与特征增强中的关键作用。
• 使用完整二分图进行交叉注意力（CBG）的性能更差（130.8% CIDEr），证实无结构化融合的破坏性影响。
• 定性分析表明，DLCT在生成如'blue'和'yellow'等描述性词汇时，能准确关注到相关网格区域，表明注意力定位能力得到提升。
• 可视化结果证实，DLCT在网格特征上生成了更准确、更细粒度的注意力图，尤其在'tracks'等复杂结构上表现更优。