[论文解读] An Analysis of Visual Question Answering Algorithms

Kushal Kafle, Christopher Kanan|arXiv (Cornell University)|Mar 28, 2017

Multimodal Machine Learning Applications参考文献 35被引用 22

一句话总结

本文提出了任务驱动图像理解挑战（TDIUC），这是一个包含1.6万个问题的新型VQA基准，涵盖12个类别，其中包括荒谬问题以测试推理能力。该研究提出了补偿偏差的评估指标，并表明由于数据集偏差，简单模型的表现优于复杂模型；同时，注意力机制在物体定位任务（如颜色识别和计数）中显著提升了性能。

ABSTRACT

In visual question answering (VQA), an algorithm must answer text-based questions about images. While multiple datasets for VQA have been created since late 2014, they all have flaws in both their content and the way algorithms are evaluated on them. As a result, evaluation scores are inflated and predominantly determined by answering easier questions, making it difficult to compare different methods. In this paper, we analyze existing VQA algorithms using a new dataset. It contains over 1.6 million questions organized into 12 different categories. We also introduce questions that are meaningless for a given image to force a VQA system to reason about image content. We propose new evaluation schemes that compensate for over-represented question-types and make it easier to study the strengths and weaknesses of algorithms. We analyze the performance of both baseline and state-of-the-art VQA models, including multi-modal compact bilinear pooling (MCB), neural module networks, and recurrent answering units. Our experiments establish how attention helps certain categories more than others, determine which models work better than others, and explain how simple models (e.g. MLP) can surpass more complex models (MCB) by simply learning to answer large, easy question categories.

研究动机与目标

• 解决现有VQA基准中数据集偏差带来的关键问题，该问题导致性能分数虚高，并阻碍算法之间的公平比较。
• 开发一个新的VQA数据集（TDIUC），包含12种明确定义的问题类型，以实现对算法能力的细粒度分析。
• 提出能够补偿过代表问题类型和不平衡答案分布的评估指标，以提升性能评估的公平性。
• 研究VQA模型是否能够检测出对给定图像逻辑上无效的荒谬问题，从而表明其具备真正的推理能力而非仅依赖语言模式匹配。
• 分析注意力机制和模型架构对不同问题类型下性能的影响。

提出的方法

• 创建了TDIUC，一个包含160万条问题的新VQA数据集，按视觉推理任务分为12个不同类别。
• 引入了“荒谬问题”——即对给定图像在逻辑上无效的问题——以评估模型是否能基于图像内容进行推理，而非依赖语言模式。
• 提出了两种新的评估指标：每类平均准确率和归一化准确率，以减轻过代表问题类型和答案分布带来的偏差。
• 在物体存在类问题中平衡了“是/否”答案的分布，以评估标签不平衡对模型泛化能力的影响。
• 在完整TDIUC数据集及子集上训练并评估了多种模型（包括MLP、MCB、MCB-A、RAU和NMN），以比较不同问题类型下的性能表现。
• 使用注意力机制（如MCB-A和RAU中的机制）定位相关图像区域，从而提升在依赖物体的问题类型上的性能。

实验结果

研究问题

• RQ1 现有VQA基准中的数据集偏差在多大程度上阻碍了算法性能的公平比较？
• RQ2 VQA模型能否有效识别出对给定图像逻辑上无效的荒谬问题，从而表明其具备真正的推理能力而非仅依赖模式匹配？
• RQ3 哪些问题类型最受益于注意力机制？注意力机制如何提升特定视觉推理任务的性能？
• RQ4 为何在某些情况下，简单模型（如MLP）的表现优于复杂模型（如MCB）？这是否源于数据集偏差？
• RQ5 平衡答案分布（例如，物体存在类问题中50%为“是”，50%为“否”）如何影响模型的泛化能力及对罕见问题类型的性能表现？

主要发现

• Q+I模型在未使用荒谬问题进行训练时，活动识别准确率达到48%，但若在训练中包含荒谬问题，准确率降至24%，表明其对真实与荒谬问题的区分能力较差。
• MCB模型在完整TDIUC数据集上达到68.83%的准确率，优于MLP（62.44%）和Q+I（61.34%）等简单模型，但Q+I模型在某些类别上表现更优，这是由于其对高频、简单问题的过拟合所致。
• 注意力机制（MCB-A）在物体定位任务中显著提升了性能：颜色识别提升12.5%，属性识别提升10.3%，计数任务提升11.2%，相比非注意力的MCB模型。
• 在物体存在类问题中平衡“是/否”答案分布后，MCB-A模型的性能从“否”答案的11.2%提升至重训练后的92.26%，表明训练数据中的偏差严重限制了模型的泛化能力。
• RAU模型在检测荒谬问题方面表现优异，在完整TDIUC上达到68.83%的准确率，优于NMN模型；后者因复杂问题的S-表达式解析错误而表现不佳。
• 在问题类型不平衡的数据集（如COCO-VQA）上训练的模型，即使整体准确率较高，对罕见问题类型（如“为什么”和“在哪里”）的性能仍较差，凸显了标准评估指标的局限性。