[论文解读] An Empirical Evaluation of Visual Question Answering for Novel Objects

Santhosh Kumar Ramakrishnan, Ambar Pal+2 more|arXiv (Cornell University)|Apr 8, 2017

Multimodal Machine Learning Applications参考文献 35被引用 10

一句话总结

本论文提出了一种新颖的视觉问答（VQA）基准，用于评估模型在测试图像中包含训练期间未见过的新物体时的表现。该研究提出两种模块化、多模态深度学习方法，利用外部文本和图像语料库来提升新物体上的VQA性能，在新物体子集上相比基线模型最高实现8.7%的绝对准确率提升。

ABSTRACT

We study the problem of answering questions about images in the harder setting, where the test questions and corresponding images contain novel objects, which were not queried about in the training data. Such setting is inevitable in real world-owing to the heavy tailed distribution of the visual categories, there would be some objects which would not be annotated in the train set. We show that the performance of two popular existing methods drop significantly (up to 28%) when evaluated on novel objects cf. known objects. We propose methods which use large existing external corpora of (i) unlabeled text, i.e. books, and (ii) images tagged with classes, to achieve novel object based visual question answering. We do systematic empirical studies, for both an oracle case where the novel objects are known textually, as well as a fully automatic case without any explicit knowledge of the novel objects, but with the minimal assumption that the novel objects are semantically related to the existing objects in training. The proposed methods for novel object based visual question answering are modular and can potentially be used with many visual question answering architectures. We show consistent improvements with the two popular architectures and give qualitative analysis of the cases where the model does well and of those where it fails to bring improvements.

研究动机与目标

• 研究当测试图像包含训练期间未见过的物体时，视觉问答（VQA）所面临的挑战。
• 解决现有VQA模型在泛化到新视觉类别时性能下降的问题。
• 提出一种模块化框架，利用外部文本和图像语料库来提升新物体上的零样本VQA性能。
• 在既定语义假设和最小语义假设两种设置下评估所提方法，其中新物体与训练物体在语义上相关。
• 在多种VQA架构和问题类型上展示一致的性能提升。

提出的方法

• 提出VQA数据集的一种新型训练-测试划分方式，确保训练样本中不包含任何新测试物体的提及，从而创建一个强零样本评估设置。
• 使用带有深度循环神经网络的多模态自编码器，对齐来自外部源的视觉与文本表征。
• 利用大规模未标注文本语料库（如书籍）通过预训练的Word2Vec嵌入学习新物体的语义表征。
• 整合带有类别标签的外部图像数据集，为新物体提供视觉上下文，采用图像-文本对比学习方法。
• 应用一种模块化框架，可无缝集成到现有VQA架构中，如基于VGG、Inception或ResNet主干网络的模型。
• 采用既定语义假设和非既定语义假设两种设置：在既定语义假设情况下，模型会获得新物体的名称；在一般情况下，模型通过Word2Vec空间中的语义相似性推断物体。

实验结果

研究问题

• RQ1 现有最先进VQA模型在测试图像包含训练期间未见的新物体时表现如何？
• RQ2 在训练阶段不提供显式标注的情况下，外部文本和图像语料库能否提升VQA模型在新物体上的性能？
• RQ3 仅使用文本知识与结合文本和视觉知识从外部源相比，其影响有何不同？
• RQ4 当新物体未被明确提供时（即在最小语义假设下），模型的有效性如何？
• RQ5 所提方法在不同VQA架构和问题类型上的泛化能力如何？

主要发现

• 在新物体上评估时，两种领先的VQA架构性能相比已知物体最高下降28%。
• 所提方法利用外部文本语料库，在开放式问题类别中新物体子集上的准确率最高提升8.7%。
• 使用外部文本数据带来的增益显著优于使用外部图像数据，后者仅带来微小或可忽略的改进。
• 模型在既定语义假设和一般（非既定）语义假设两种设置下均实现一致的性能提升，表明其对缺乏显式新物体标签具有鲁棒性。
• 定性分析表明，当新物体与已知物体在语义上相关时，模型表现良好；但当语义关联较弱或模糊时，模型会失败。
• 该方法具有模块化特性，可与多种VQA架构集成，展现出广泛的适用性。