[论文解读] VQA and Visual Reasoning: An Overview of Recent Datasets, Methods and Challenges

Rufai Yusuf Zakari, Jim Wilson Owusu+4 more|arXiv (Cornell University)|Dec 26, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文全面综述了视觉问答（VQA）与视觉推理领域近期的数据集、方法与挑战，强调多模态表征学习。文章回顾了最先进模型，指出数据集偏差与评估局限性等问题，并提出未来研究方向，以提升模型的推理能力、外部知识融合能力以及超越统计捷径的鲁棒性。

ABSTRACT

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

研究动机与目标

• 提供对视觉问答（VQA）与视觉推理领域近期数据集、模型与评估指标的全面回顾。
• 分析最先进VQA模型中的关键设计原则与架构创新。
• 识别持续存在的挑战，如数据集偏差、语言偏差以及开放式问题评估的局限性。
• 探讨外部知识与推理在提升模型泛化能力中的作用。
• 提出未来研究方向，以推动人工智能系统在视觉与语言理解方面实现更鲁棒、更类人的能力。

提出的方法

• 系统性回顾20多个主要VQA与视觉推理数据集，包括CLEVR、GQA、VQA v2.0与VizWb。
• 将VQA方法分类为基于注意力机制、图神经网络与多模态Transformer架构三类。
• 分析端到端训练框架（如CM-VQA），其通过注意力机制与动态任务学习融合视觉与语言特征。
• 考察将视觉特征（如来自ResNet的特征）与上下文语言表征（如BERT）相结合的模型架构。
• 使用标准评估指标（如top-1准确率与精确匹配）评估性能，重点关注多项选择与开放式问题两种格式。
• 识别可增强推理能力的架构模式，如迭代推理模块与知识增强注意力机制。

实验结果

研究问题

• RQ1 在问题复杂度与推理需求方面，VQA与视觉推理数据集的关键特征与差异是什么？
• RQ2 最先进模型如何融合视觉与语言特征以提升推理性能？
• RQ3 现有VQA数据集中主要的偏差来源是什么，它们如何影响模型的泛化能力？
• RQ4 为何当前多项选择与开放式问题的评估协议会导致性能评估结果的差异？
• RQ5 如何有效整合外部知识与知识图谱，以减少VQA系统中的语言与视觉偏差？

主要发现

• 当前最先进VQA模型在多项选择设置中更依赖语言线索而非视觉内容，表明存在显著的语言偏差。
• CLEVR与GQA等数据集旨在最小化现实世界偏差，并要求多步推理，因此更适合评估真正的视觉推理能力。
• 开放式VQA评估仍具挑战性，因为大多数模型针对多项选择格式进行优化，导致在自由回答格式上泛化能力差。
• 整合外部知识源（如知识图谱）可减少语言偏差，并提升复杂推理任务中模型的鲁棒性。
• 迫切需要能够处理分布外问题与合成数据的模型，尤其是在真实世界数据有限的情况下。
• 尽管已有进展，SOTA模型与人类水平推理能力之间在组合性与关系理解方面仍存在显著性能差距。