[论文解读] Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering

Yu Zhou, Jun Yu+2 more|arXiv (Cornell University)|Aug 4, 2017

Multimodal Machine Learning Applications参考文献 36被引用 101

一句话总结

本文提出多模态因式分解双线性（MFB）池化用于融合图像与问题特征，并结合共注意力机制，在VQA上达到最先进的结果。

ABSTRACT

Visual question answering (VQA) is challenging because it requires a simultaneous understanding of both the visual content of images and the textual content of questions. The approaches used to represent the images and questions in a fine-grained manner and questions and to fuse these multi-modal features play key roles in performance. Bilinear pooling based models have been shown to outperform traditional linear models for VQA, but their high-dimensional representations and high computational complexity may seriously limit their applicability in practice. For multi-modal feature fusion, here we develop a Multi-modal Factorized Bilinear (MFB) pooling approach to efficiently and effectively combine multi-modal features, which results in superior performance for VQA compared with other bilinear pooling approaches. For fine-grained image and question representation, we develop a co-attention mechanism using an end-to-end deep network architecture to jointly learn both the image and question attentions. Combining the proposed MFB approach with co-attention learning in a new network architecture provides a unified model for VQA. Our experimental results demonstrate that the single MFB with co-attention model achieves new state-of-the-art performance on the real-world VQA dataset. Code available at https://github.com/yuzcccc/mfb.

研究动机与目标

• 推动通过更好的多模态特征融合和细粒度注意力来提升 VQA。
• 开发一种高效、表达力强的双线性池化方法，用于融合图像与问题特征。
• 结合共注意力机制，联合学习图像与问题的注意力。
• 证明归一化技术对双线性模型至关重要。
• 在真实世界的 VQA 数据集上使用单一模型达到最先进的结果。

提出的方法

• 提出多模态因式分解双线性（MFB）池化，通过低秩分解融合图像与问题特征。
• 将双线性权重因式分解为 U 和 V 矩阵，在逐元素相乘后应用求和池化。
• 在 MFB 之后应用幂归一化和 L2 归一化以稳定训练。
• 引入一个共注意力学习模块，在端到端网络中联合学习图像与问题的注意力。
• 使用 ResNet-152 图像编码器和一个两层的 LSTM-问题编码器来生成用于答案分类的多模态融合特征。
• 在 VQA 数据集上使用开放式和多选题任务进行评估，并与 MCB/MLB 基线和消融研究进行比较。

实验结果

研究问题

• RQ1 所提出的 MFB 池化是否在 VQA 中提升相较于现有双线性池化方法（MCB、MLB）的多模态融合？
• RQ2 加入幂归一化与 L2 归一化是否提升训练稳定性和准确性？
• RQ3 共注意力学习是否能联合提升图像与问题的注意力，从而提升 VQA 性能？
• RQ4 在不同设置下（有/无注意力、使用外部嵌入、VG 数据）的情况下，基于 MFB 的架构与最先进方法在 VQA 数据集上的比较如何？

主要发现

• 在开放式 VQA 的准确率方面，MFB 优于 MCB 和 MLB 基线。
• 将因子 k 从 1 增加到 5 会提升性能；进一步增加回报递减，在 k=10 附近趋于饱和。
• 幂归一化，尤其是 L2 归一化，显著提升性能和训练稳定性。
• 共注意力（MFB+CoAtt）在单注意力模型基础上带来额外的精度提升。
• 结合外部 GloVe 词嵌入与 Visual Genome 数据，MFB+CoAtt+GloVe+VG 在开放式和多选任务上成为单模型中的最佳性能；集成模型进一步提升结果。
• 与最先进方法相比，MFB+CoAtt+GloVe+VG 接近或超越了许多非集成方法；人类表现仍然更高。