[论文解读] Image Captioning and Visual Question Answering Based on Attributes and Their Related External Knowledge.

Qi Wu, Chunhua Shen+3 more|arXiv (Cornell University)|Mar 9, 2016

Multimodal Machine Learning Applications被引用 33

一句话总结

本文通过将高层视觉属性和外部知识整合到CNN-RNN框架中，提升了图像字幕生成与视觉问答性能。通过融合来自外部源的结构化知识与图像特征，该模型在基准数据集上实现了SOTA（最先进）性能，两项任务均表现优异。

ABSTRACT

Much recent progress in Vision-to-Language problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. In this paper we first propose a method of incorporating high-level concepts into the successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art in both image captioning and visual question answering. We further show that the same mechanism can be used to incorporate external knowledge, which is critically important for answering high level visual questions. Specifically, we design a visual question answering model that combines an internal representation of the content of an image with information extracted from a general knowledge base to answer a broad range of image-based questions. It particularly allows questions to be asked about the contents of an image, even when the image itself does not contain a complete answer. Our final model achieves the best reported results on both image captioning and visual question answering on several benchmark datasets.

研究动机与目标

• 通过引入视觉属性，解决CNN-RNN模型在捕捉高层语义概念方面的局限性。
• 通过整合图像中未包含的外部知识，提升视觉问答性能。
• 使模型能够在答案未直接出现在图像中的情况下，回答复杂的视觉问题。
• 在标准图像字幕与视觉问答基准测试中实现SOTA性能。
• 证明将内部图像表征与外部知识相结合，可增强视觉-语言任务中的推理能力。

提出的方法

• 通过引入一种机制，将高层视觉属性编码到图像表征中，扩展了CNN-RNN架构。
• 整合来自通用知识库的外部知识，以支持对图像内容的推理。
• 将内部视觉特征与外部知识嵌入表示相结合，生成更具信息量的字幕与答案。
• 使用联合注意力机制，在生成过程中对齐视觉特征与相关知识组件。
• 采用交叉熵损失进行字幕生成的端到端训练，以及视觉问答的多任务学习。
• 基于图像内容检索知识，并用于条件化RNN解码器，以提升生成质量。

实验结果

研究问题

• RQ1 将高层视觉属性整合是否能超越标准CNN-RNN模型，在图像字幕生成性能上实现提升？
• RQ2 外部知识库是否能增强视觉问答性能，特别是在需要超越图像内容进行推理的问题上？
• RQ3 统一模型在通过属性与知识融合处理图像字幕与视觉问答时，其有效性如何？
• RQ4 整合外部知识在多大程度上提升了对复杂视觉问题的泛化能力？
• RQ5 视觉与外部知识的融合是否能在基准数据集上实现SOTA结果？

主要发现

• 所提方法在多个图像字幕与视觉问答基准数据集上均实现了SOTA性能。
• 引入高层视觉属性显著提升了相对于标准CNN-RNN基线模型的性能。
• 外部知识的整合使模型能够回答仅凭图像无法直接回答的问题。
• 通过结合视觉特征与知识库信息，模型展现出更强的推理能力。
• 在BLEU、ROUGE与VQA准确率等标准评估指标上，该方法优于现有方法。
• 内部与外部表征的融合使生成的字幕与答案更具连贯性与上下文准确性。