[论文解读] A Picture May Be Worth a Hundred Words for Visual Question Answering

Yusuke Hirota, Noa García+5 more|arXiv (Cornell University)|Jun 25, 2021

Multimodal Machine Learning Applications参考文献 67被引用 4

一句话总结

本文提出一种仅使用语言的Transformer模型，利用图像描述（约100词）代替深度视觉特征进行视觉问答（VQA），在VQA 2.0和VQA-CP v2上取得了具有竞争力的性能。结果表明，高质量的文本描述可有效替代复杂的视觉特征，从而实现更简单、更具可解释性且计算成本更低的VQA系统。

ABSTRACT

How far can we go with textual representations for understanding pictures? In image understanding, it is essential to use concise but detailed image representations. Deep visual features extracted by vision models, such as Faster R-CNN, are prevailing used in multiple tasks, and especially in visual question answering (VQA). However, conventional deep visual features may struggle to convey all the details in an image as we humans do. Meanwhile, with recent language models' progress, descriptive text may be an alternative to this problem. This paper delves into the effectiveness of textual representations for image understanding in the specific context of VQA. We propose to take description-question pairs as input, instead of deep visual features, and fed them into a language-only Transformer model, simplifying the process and the computational cost. We also experiment with data augmentation techniques to increase the diversity in the training set and avoid learning statistical bias. Extensive evaluations have shown that textual representations require only about a hundred words to compete with deep visual features on both VQA 2.0 and VQA-CP v2.

研究动机与目标

• 探究图像的文本表示是否能有效替代视觉问答（VQA）中的深度视觉特征。
• 评估仅语言的Transformer模型在图像描述-问题对作为输入时的性能表现。
• 探索数据增强技术以提升文本VQA模型的泛化能力并减少偏差。
• 确定实现具有竞争力VQA性能所需的最小文本描述长度。
• 为使用自然语言而非视觉嵌入实现可解释的图像表示提供基础。

提出的方法

• 该模型使用基于RoBERTa的仅语言Transformer，处理图像描述与问题的配对输入，端到端预测答案。
• 图像表征源自COCO和Localized Narratives数据集的人工标注描述，而非视觉特征。
• 通过回译和同义词替换对问题和描述应用数据增强，以提升训练多样性。
• 在VQA 2.0和VQA-CP v2数据集上使用标准VQA评估协议进行微调。
• 采用二元和非二元准确率指标评估性能，以确保与先前工作的可比性。
• 通过定性分析比较本模型与强基线模型（BAN和LXMERT）的预测结果，评估推理能力与失败模式。

实验结果

研究问题

• RQ1 与深度视觉特征相比，约100词的文本图像描述在VQA中的有效性如何？
• RQ2 仅语言的Transformer模型是否能在不使用任何视觉特征输入的情况下实现具有竞争力的性能？
• RQ3 数据增强技术对文本VQA模型的鲁棒性和泛化能力有何影响？
• RQ4 语言仅模型在理解描述中未捕捉到的细微视觉细节方面存在哪些局限性？
• RQ5 图像描述的质量如何影响模型性能与泛化能力？

主要发现

• 仅语言模型在VQA 2.0和VQA-CP v2上均取得了具有竞争力的性能，表现优于或匹配基于深度视觉特征的最先进模型。
• 该模型仅需约100词的描述即可达到或超越使用深度视觉特征模型的性能。
• 在所有数据增强技术中，问题的回译提供了最显著的性能提升。
• 该模型在预测上表现出高度一致性，80%的预测结果与强基线模型（BAN和LXMERT）在相同问题上的预测结果一致。
• 当描述中包含相关动作或物体计数时（如“指向锅具”、“六块滑雪板”），模型表现良好；但当问题需要描述中未包含的视觉细节时（如阅读飞机上的文字），模型则失败。
• 在理解描述中未明确提及的细微文本关系与细节方面存在局限，凸显了对描述质量的依赖。