[论文解读] Language bias in Visual Question Answering: A Survey and Taxonomy

Desen Yuan|arXiv (Cornell University)|Nov 16, 2021

Multimodal Machine Learning Applications参考文献 102被引用 9

一句话总结

本综述首次对视觉问答（VQA）中的语言偏见进行了全面分析，将缓解方法分类为增强视觉信息、弱化语言先验和数据增强/训练策略三类。它指出语言偏见是模型鲁棒性失败的主要原因，并提出基于因果推断的方法和长尾学习作为未来提升VQA系统公平性和可解释性的关键方向。

ABSTRACT

Visual question answering (VQA) is a challenging task, which has attracted more and more attention in the field of computer vision and natural language processing. However, the current visual question answering has the problem of language bias, which reduces the robustness of the model and has an adverse impact on the practical application of visual question answering. In this paper, we conduct a comprehensive review and analysis of this field for the first time, and classify the existing methods according to three categories, including enhancing visual information, weakening language priors, data enhancement and training strategies. At the same time, the relevant representative methods are introduced, summarized and analyzed in turn. The causes of language bias are revealed and classified. Secondly, this paper introduces the datasets mainly used for testing, and reports the experimental results of various existing methods. Finally, we discuss the possible future research directions in this field.

研究动机与目标

• 系统分析视觉问答（VQA）中语言偏见的根本原因及其表现形式。
• 将现有的语言偏见缓解方法分类为三类：增强视觉信号、弱化语言先验和数据/训练策略。
• 回顾主流VQA数据集及基准结果，评估偏见缓解技术的性能表现。
• 识别开放性挑战，并提出未来研究方向，包括因果建模和长尾学习，以提升模型的公平性与鲁棒性。

提出的方法

• 将现有的VQA偏见缓解技术划分为三大类：增强视觉信息、弱化语言先验和结合特定训练策略的数据增强。
• 回顾当前SOTA（最先进）VQA模型中使用的关键网络架构，强调融合视觉与语言表征的多模态融合机制。
• 分析基于因果推断的方法，如反事实数据增强和因果图构建，以建模图像内容与问题-答案对之间的真实关系。
• 研究VQA数据集中长尾分布问题，即稀有答案类别代表性不足，加剧了语言偏见。
• 提出整合外部知识库或知识图谱可减少对有偏见训练数据的依赖，提升答案的泛化能力。
• 强调利用反事实思维模拟替代场景（如改变物体颜色）以训练模型忽略虚假的语言相关性。

实验结果

研究问题

• RQ1 视觉问答系统中语言偏见的主要成因和类型是什么？
• RQ2 现有方法如何对语言偏见进行分类与缓解？各自的优缺点是什么？
• RQ3 数据分布不平衡和长尾答案类别在多大程度上加剧了VQA中的语言偏见？
• RQ4 基于因果推断的方法（如反事实推理）是否能通过建模图像与问题的真实依赖关系有效减少语言偏见？
• RQ5 外部知识库和细粒度标注在减少语言偏见和提升模型泛化能力方面发挥何种作用？

主要发现

• VQA中的语言偏见主要源于问题与答案之间的虚假相关性，导致模型依赖语言模式而非视觉内容。
• 即使图像中香蕉为绿色，模型仍常预测其为‘黄色’，表明存在强烈的语言捷径偏见。
• 答案标签中的数据不平衡和长尾分布加剧了语言偏见，尤其在细粒度视觉属性方面更为显著。
• 基于因果推断的方法（如反事实数据增强）在识别并减少虚假相关性方面展现出潜力，通过建模替代场景实现。
• 整合外部知识库和利用知识图谱正成为减少对有偏见训练数据依赖并提升答案多样性的有效策略。
• 当前方法在稀有或分布外样本上的泛化能力仍显不足，表明亟需更鲁棒、基于因果关系的学习框架。