[论文解读] Answer Questions with Right Image Regions: A Visual Attention Regularization Approach

Yibing Liu, Yangyang Guo+4 more|arXiv (Cornell University)|Feb 3, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 AttReg，一种与模型无关的视觉注意力正则化方法，可识别并增强 VQA 模型忽略的关键图像区域的注意力。通过使用无需人工注意力标注的掩码引导学习方案，AttReg 改进了视觉定位，在 VQA-CP v2 上实现了 60.00% 的新 SOTA 准确率，相较于基线模型绝对提升 7.01%。

ABSTRACT

Visual attention in Visual Question Answering (VQA) targets at locating the right image regions regarding the answer prediction, offering a powerful technique to promote multi-modal understanding. However, recent studies have pointed out that the highlighted image regions from the visual attention are often irrelevant to the given question and answer, leading to model confusion for correct visual reasoning. To tackle this problem, existing methods mostly resort to aligning the visual attention weights with human attentions. Nevertheless, gathering such human data is laborious and expensive, making it burdensome to adapt well-developed models across datasets. To address this issue, in this paper, we devise a novel visual attention regularization approach, namely AttReg, for better visual grounding in VQA. Specifically, AttReg firstly identifies the image regions which are essential for question answering yet unexpectedly ignored (i.e., assigned with low attention weights) by the backbone model. And then a mask-guided learning scheme is leveraged to regularize the visual attention to focus more on these ignored key regions. The proposed method is very flexible and model-agnostic, which can be integrated into most visual attention-based VQA models and require no human attention supervision. Extensive experiments over three benchmark datasets, i.e., VQA-CP v2, VQA-CP v1, and VQA v2, have been conducted to evaluate the effectiveness of AttReg. As a by-product, when incorporating AttReg into the strong baseline LMH, our approach can achieve a new state-of-the-art accuracy of 60.00% with an absolute performance gain of 7.01% on the VQA-CP v2 benchmark dataset...

研究动机与目标

• 解决 VQA 模型尽管预测答案正确，却将注意力集中在无关图像区域的问题。
• 在不依赖昂贵的人工标注注意力数据的前提下，提升视觉定位性能。
• 通过实证验证视觉注意力相较于 Grad-CAM 等基于梯度的方法在视觉定位中的忠实度。
• 开发一种与模型无关的正则化方法，以增强对被忽略但关键的图像区域的注意力。

提出的方法

• AttReg 识别对答案预测至关重要的图像区域，但被主干模型赋予较低注意力权重的区域。
• 通过掩码引导学习方案，正则化注意力机制，使其更关注这些被忽略的关键区域。
• 该方法完全自监督，无需人工标注的注意力图或梯度信息。
• 通过遮挡研究和预测变化（TVD）来验证注意力的忠实度。
• 该方法可无缝集成到现有 VQA 模型中，无需架构修改，确保与模型无关的兼容性。
• 使用 Faster R-CNN 特征（36 个物体提议）来计算注意力权重并评估区域贡献。

实验结果

研究问题

• RQ1 如何在无需人工标注注意力数据的情况下，对 VQA 中的视觉注意力进行正则化，使其聚焦于相关图像区域？
• RQ2 与 Grad-CAM 等基于梯度的方法相比，视觉注意力在视觉定位中有多大的忠实度？
• RQ3 自监督正则化方法是否能通过纠正注意力错位来提升 VQA 性能？
• RQ4 提升注意力忠实度是否能带来在 VQA 基准测试集上的更好泛化能力？

主要发现

• AttReg 在 VQA-CP v2 基准测试中实现了 60.00% 的新 SOTA 准确率，相较于 LMH 基线模型绝对提升 7.01%。
• 随着注意力权重降低，视觉注意力机制的 TVD（预测变化）呈现单调递减趋势，表明其与模型预测具有高度忠实度。
• 相比之下，Grad-CAM 表现不一致：某些低梯度权重区域反而引起更大的预测变化，削弱了其在视觉定位中的可靠性。
• 当被保留区域的注意力权重降低时，性能持续下降，证实更高的注意力权重与模型性能贡献度正相关。
• 经过 AttReg 处理后，先前被忽略的关键物体 'dress' 的注意力权重从 0.00 提升至 0.33，成为最具影响力的区域，从而实现正确答案预测。
• 该方法在三个基准数据集（VQA-CP v2、VQA-CP v1 和 VQA v2）上均表现有效，展现出广泛的适用性。