[论文解读] Loss re-scaling VQA: Revisiting the LanguagePrior Problem from a Class-imbalance View

Yangyang Guo, Liqiang Nie+3 more|arXiv (Cornell University)|Oct 30, 2020

Multimodal Machine Learning Applications参考文献 55被引用 6

一句话总结

本文提出了一种新颖的损失重标定方法，通过将视觉问答（VQA）中的语言先验问题解释为类别不平衡问题，以解决该问题。通过根据每类问题的答答案频率动态分配损失权重，该方法减少了模型对频繁但错误答案的偏见，显著提升了在六个强基线模型上的VQA-CP基准表现，VQA-CP v2的性能提升最高达14.6%。

ABSTRACT

Recent studies have pointed out that many well-developed Visual Question Answering (VQA) models are heavily affected by the language prior problem, which refers to making predictions based on the co-occurrence pattern between textual questions and answers instead of reasoning visual contents. To tackle it, most existing methods focus on enhancing visual feature learning to reduce this superficial textual shortcut influence on VQA model decisions. However, limited effort has been devoted to providing an explicit interpretation for its inherent cause. It thus lacks a good guidance for the research community to move forward in a purposeful way, resulting in model construction perplexity in overcoming this non-trivial problem. In this paper, we propose to interpret the language prior problem in VQA from a class-imbalance view. Concretely, we design a novel interpretation scheme whereby the loss of mis-predicted frequent and sparse answers of the same question type is distinctly exhibited during the late training phase. It explicitly reveals why the VQA model tends to produce a frequent yet obviously wrong answer, to a given question whose right answer is sparse in the training set. Based upon this observation, we further develop a novel loss re-scaling approach to assign different weights to each answer based on the training data statistics for computing the final loss. We apply our approach into three baselines and the experimental results on two VQA-CP benchmark datasets evidently demonstrate its effectiveness. In addition, we also justify the validity of the class imbalance interpretation scheme on other computer vision tasks, such as face recognition and image classification.

研究动机与目标

• 探究VQA中语言先验问题的根本原因，即模型依赖统计捷径而非视觉推理。
• 提出一种新的语言先验问题解释方式，将其视为类别不平衡问题，其中频繁答案主导了模型预测。
• 开发一种损失重标定机制，为罕见但正确的答案分配更高的权重，以抵消训练数据中的偏差。
• 在多个强基线VQA模型和标准VQA-CP基准上验证该方法的有效性。
• 将类别不平衡的解释推广至其他视觉-语言任务，如图像分类和人脸识别。

提出的方法

• 提出对语言先验问题的类别不平衡解释，即模型因各类问题类型标签分布不均而过度拟合于频繁答案。
• 引入一种损失重标定机制，基于给定问题类型在训练集中的答案频率，为每个答案动态计算损失权重。
• 在训练中使用Sigmoid-BCE或Softmax-Cross-Entropy损失，并推导出保持反向传播效率的梯度。
• 引入答案掩码模块，以抑制预测与问题类型不符的答案（如对'how many'类问题预测'yes'），从而提升泛化能力。
• 利用问题类型特定的统计信息计算损失权重，确保稀有但正确的答案获得更强的梯度信号。
• 在损失加权函数中采用softplus-G激活，以稳定训练并改善收敛性。

实验结果

研究问题

• RQ1 为何VQA模型即使在视觉上可明确识别正确答案，仍持续预测频繁但错误的答案（如对'how many'类问题预测'2'）？
• RQ2 语言先验问题能否在VQA背景下被形式化地解释为类别不平衡问题？
• RQ3 基于每类问题类型答案频率的损失重标定是否能有效减少模型对频繁答案的偏见？
• RQ4 所提出的损失重标定方法与Focal Loss等现有方法相比，在缓解语言先验方面表现如何？
• RQ5 类别不平衡解释与损失重标定方法是否可推广至VQA以外的其他视觉-语言任务？

主要发现

• 语言先验问题源于模型在训练数据中过度拟合于频繁答案，尤其在答案分布严重偏斜的问题类型中更为明显。
• 所提出的损失重标定方法在VQA-CP v2上相比基线模型准确率最高提升14.6%，且在所有六个评估基线上均表现出一致增益。
• 在UpDn模型上，结合答案掩码与损失重标定后，VQA-CP v2的准确率实现14.6%的绝对提升（从38.80%提升至53.26%）。
• 该方法优于Focal Loss，通过基于频率的损失加权提供了更明确、问题类型特定的指导。
• 可视化结果表明，采用重标定的模型更准确地聚焦于相关视觉区域（如正确的孩子或动物），而非被语言线索误导。
• 该类别不平衡解释在人脸识别和图像分类任务中得到验证，证实其在VQA之外也具有更广泛的应用潜力。