[论文解读] X-Linear Attention Networks for Image Captioning

Yingwei Pan, Ting Yao+2 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 41被引用 8

一句话总结

本文提出X-Linear注意力网络（X-LAN），一种新颖的统一注意力模块，通过视觉与语言特征之间的空间和通道双线性池化，建模二阶特征交互。通过堆叠这些模块并将它们集成到图像编码器和句子解码器中，X-LAN在COCO Karpathy测试集上实现了132.8%的CIDEr得分，展现出通过高阶交互实现的优越多模态推理能力。

ABSTRACT

Recent progress on fine-grained visual recognition and visual question answering has featured Bilinear Pooling, which effectively models the 2$^{nd}$ order interactions across multi-modal inputs. Nevertheless, there has not been evidence in support of building such interactions concurrently with attention mechanism for image captioning. In this paper, we introduce a unified attention block -- X-Linear attention block, that fully employs bilinear pooling to selectively capitalize on visual information or perform multi-modal reasoning. Technically, X-Linear attention block simultaneously exploits both the spatial and channel-wise bilinear attention distributions to capture the 2$^{nd}$ order interactions between the input single-modal or multi-modal features. Higher and even infinity order feature interactions are readily modeled through stacking multiple X-Linear attention blocks and equipping the block with Exponential Linear Unit (ELU) in a parameter-free fashion, respectively. Furthermore, we present X-Linear Attention Networks (dubbed as X-LAN) that novelly integrates X-Linear attention block(s) into image encoder and sentence decoder of image captioning model to leverage higher order intra- and inter-modal interactions. The experiments on COCO benchmark demonstrate that our X-LAN obtains to-date the best published CIDEr performance of 132.0% on COCO Karpathy test split. When further endowing Transformer with X-Linear attention blocks, CIDEr is boosted up to 132.8%. Source code is available at \url{https://github.com/Panda-Peter/image-captioning}.

研究动机与目标

• 为解决传统注意力机制在图像字幕生成中仅建模一阶特征交互且缺乏有效多模态推理能力的局限性。
• 提出一种统一的注意力模块，通过双线性池化捕捉视觉与语言模态之间的二阶交互。
• 通过堆叠模块并以参数无关方式应用ELU，实现更高阶甚至无限阶的特征交互。
• 将X-Linear注意力模块集成到图像编码器和句子解码器中，以增强模态内与模态间表征学习。
• 通过改进多模态推理，在图像字幕生成基准上实现最先进性能。

提出的方法

• X-Linear注意力模块通过双线性池化计算查询与键的外积，以建模视觉特征与语言隐藏状态之间的二阶交互。
• 通过两个嵌入层和对双线性输出的softmax操作预测空间注意力权重，实现对相关图像区域的选择性关注。
• 压缩-激励机制通过聚合空间特征并应用Sigmoid门控激励，计算通道注意力，以优化通道重要性。
• 通过空间与通道注意力向量调制，将注意力特征计算为双线性池化后的查询-值对的加权和。
• 通过堆叠多个X-Linear模块建模高阶交互，同时应用ELU以在不增加参数的情况下实现无限阶交互。
• X-LAN架构将这些模块集成到基于Faster R-CNN的图像编码器和LSTM/Transformer解码器中，以增强模态内（区域级）与模态间（视觉-语言）推理能力。

实验结果

研究问题

• RQ1 双线性池化能否被有效整合到注意力机制中，以在图像字幕生成中建模二阶交互？
• RQ2 同时建模空间与通道注意力分布在提升视觉-语言特征对齐方面有何作用？
• RQ3 在不引发过拟合或参数量过度增长的前提下，堆叠X-Linear注意力模块能否实现高阶特征交互？
• RQ4 将X-Linear注意力模块集成到图像编码器和句子解码器中，是否能在图像字幕生成任务中带来显著性能提升？
• RQ5 在X-Linear模块中使用ELU是否能以无参数方式有效建模无限阶交互？

主要发现

• 当与Transformer解码器结合时，X-LAN在COCO Karpathy测试集上实现了132.8%的新SOTA CIDEr得分。
• 在编码器中堆叠四个X-Linear模块的模型达到120.4%的CIDEr得分，表明堆叠带来逐步提升。
• 在X-Linear模块中加入ELU后，性能提升至122.0%（四层堆叠），表明对高阶交互的建模效果显著。
• 消融实验表明，将解码器中的传统注意力替换为X-Linear注意力，可使CIDEr从114.1%提升至117.0%。
• 注意力可视化显示，X-LAN始终聚焦于相关图像区域，避免了基线模型（如Up-Down）中常见的错位现象。
• 当堆叠模块超过四个后，性能增长趋于平缓，表明模型容量与过拟合之间存在权衡。