[论文解读] Exploring Models and Data for Image Question Answering

Mengye Ren, Ryan Kiros+1 more|arXiv (Cornell University)|May 8, 2015

Multimodal Machine Learning Applications参考文献 36被引用 383

一句话总结

该论文提出了一种用于图像问答的端到端神经网络模型，利用视觉语义嵌入直接将卷积神经网络（CNN）特征与循环神经网络（RNN）编码器连接，绕过目标检测等中间任务。该方法在DAQUAR数据集上的性能比之前的工作高出1.8倍，并提出了一种问题生成算法，用于构建更大、更均衡的数据集（COCO-QA），显著扩展了训练数据，支持稳健的基线评估。

ABSTRACT

This work aims to address the problem of image-based question-answering (QA) with new models and datasets. In our work, we propose to use neural networks and visual semantic embeddings, without intermediate stages such as object detection and image segmentation, to predict answers to simple questions about images. Our model performs 1.8 times better than the only published results on an existing image QA dataset. We also present a question generation algorithm that converts image descriptions, which are widely available, into QA form. We used this algorithm to produce an order-of-magnitude larger dataset, with more evenly distributed answers. A suite of baseline results on this new dataset are also presented.

研究动机与目标

• 开发一种无需依赖目标检测或分割等中间视觉任务的直接、端到端图像问答模型。
• 通过利用视觉语义嵌入和神经网络架构，在现有图像问答基准上提升性能。
• 通过从图像描述中生成合成QA对，解决大规模、多样化图像问答数据集稀缺的问题。
• 在新构建的更大数据集上建立全面的基线，以支持未来图像问答研究。
• 通过自动化数据收集和均衡的答案分布，实现更稳健、可扩展的图像问答模型评估。

提出的方法

• 使用CNN从图像中提取视觉特征，使用RNN将自然语言问题编码为密集向量表示。
• 采用视觉语义嵌入将图像和文本表示对齐到共享嵌入空间，以实现联合推理。
• 提出一种问题生成算法，通过句法和语义模式将图像描述转换为问题-答案对。
• 通过将问题生成算法应用于MS-COCO图像字幕，构建新数据集COCO-QA，实现更大规模、更均衡的答案分布。
• 将图像问答视为单个词分类问题，以简化评估并提高鲁棒性。
• 在DAQUAR和COCO-QA上对多种模型（包括IMG+BOW、2-VIS+BLSTM和BOW基线）进行评估，以建立性能基准。

实验结果

研究问题

• RQ1 在不依赖中间视觉处理的情况下，仅使用视觉语义嵌入的简单端到端神经网络模型是否能在图像问答任务上超越先前方法？
• RQ2 自动化问题生成算法在从现有图像字幕中生成大规模、多样化且均衡的图像问答数据集方面效果如何？
• RQ3 与较小的现有基准相比，在更大、更均衡的数据集上进行训练能带来多大的性能提升？
• RQ4 在图像问答任务中，不同模型架构（如RNN、BOW模型和多模态融合网络）在准确率和鲁棒性方面表现如何比较？
• RQ5 简单的词袋模型在图像问答任务中能在多大程度上达到与更复杂RNN模型相当的性能？

主要发现

• 所提出的模型在DAQUAR数据集上的准确率比此前唯一发表的结果高出1.8倍，证明了显著的性能提升。
• 2-VIS+BLSTM模型在COCO-QA数据集上优于简单基线，测试集上的top-1准确率达到68%。
• IMG+BOW基线模型的表现与更复杂的RNN模型相当，表明词级别表示在图像问答中具有高度有效性。
• 问题生成算法成功构建了一个大规模、均衡的数据集（COCO-QA），包含超过10万个QA对，支持更稳健的评估。
• 新构建的COCO-QA数据集相比DAQUAR具有更均衡的答案标签分布，减少了偏差并提升了模型泛化能力。
• 视觉注意力机制被识别为未来提升模型可解释性和性能的有前景方向，基于近期图像字幕任务中的成功经验。