[论文解读] Improving Visual Question Answering by Referring to Generated Paragraph Captions

Hyounghun Kim, Mohit Bansal|arXiv (Cornell University)|Jun 14, 2019

Multimodal Machine Learning Applications参考文献 24被引用 6

一句话总结

该论文提出了一种视觉与文本问答（VTQA）模型，通过将自动生成的段落级图像描述和物体属性描述与视觉特征相结合，提升了VQA性能。该模型采用早期、晚期及后期融合策略，利用视觉与文本信息的互补性，在Visual Genome数据集上实现了47.43%的验证准确率，显著优于强基线模型，消融实验进一步证实了各融合组件的价值。

ABSTRACT

Paragraph-style image captions describe diverse aspects of an image as opposed to the more common single-sentence captions that only provide an abstract description of the image. These paragraph captions can hence contain substantial information of the image for tasks such as visual question answering. Moreover, this textual information is complementary with visual information present in the image because it can discuss both more abstract concepts and more explicit, intermediate symbolic information about objects, events, and scenes that can directly be matched with the textual question and copied into the textual answer (i.e., via easier modality match). Hence, we propose a combined Visual and Textual Question Answering (VTQA) model which takes as input a paragraph caption as well as the corresponding image, and answers the given question based on both inputs. In our model, the inputs are fused to extract related information by cross-attention (early fusion), then fused again in the form of consensus (late fusion), and finally expected answers are given an extra score to enhance the chance of selection (later fusion). Empirical results show that paragraph captions, even when automatically generated (via an RL-based encoder-decoder model), help correctly answer more visual questions. Overall, our joint model, when trained on the Visual Genome dataset, significantly improves the VQA performance over a strong baseline model.

研究动机与目标

• 通过引入丰富且描述性的段落级图像描述作为额外的文本上下文，提升视觉问答（VQA）性能。
• 探究段落级描述（相比单句描述更明确地描述图像的多个方面）是否能提升VQA性能。
• 设计一个联合模型，通过多种融合策略有效结合视觉与文本特征，以提高答案准确率。
• 评估自动生成的段落级描述与真实标注描述对VQA性能的影响。
• 识别当前模型在从段落级描述中提取有用信息方面的能力局限，为未来改进提供方向。

提出的方法

• VTQA模型使用基于强化学习的预训练段落描述生成模型，采用CIDEr奖励和n-gram重复惩罚，从图像中生成描述性段落。
• 提取物体属性（如“牛是棕色的”）并编码为简单句子，以提供关于检测到物体的明确符号化信息。
• 使用Anderson等人（2018）提出的自下而上与自上而下的注意力机制提取视觉特征。
• 早期融合通过交叉注意力机制将视觉与文本特征结合，以提取两种模态间的关联信息。
• 晚期融合通过聚合独立视觉与文本模块的预测得分，达成对答案的一致判断。
• 后期融合在检测到的物体属性列表中若出现预期答案，则提升其得分，从而提高选择概率。

实验结果

研究问题

• RQ1 与单句描述相比，能够描述图像多个方面的段落式图像描述是否能提升VQA性能？
• RQ2 将自动生成的段落级描述整合到模型中，对VQA准确率有何影响？与使用真实标注描述相比表现如何？
• RQ3 在结合视觉与文本特征时，早期、晚期或后期融合策略中，哪种策略能带来最有效的性能提升？
• RQ4 VQA模型在仅依靠视觉信息难以回答的问题中，能在多大程度上利用段落描述中的显式文本线索？
• RQ5 当前模型为何未能充分利用高质量真实标注段落描述中的信息？如何改进可缩小这一差距？

主要发现

• 当使用自动生成的段落级描述时，VTQA模型在Visual Genome数据集上达到47.43%的验证准确率，显著优于强基线模型（p < 0.001）。
• 与基线模型相比，晚期融合使性能提升0.95%，表明视觉与文本特征具有互补优势。
• 后期融合通过提升与物体属性匹配的答案得分，使准确率相比基线模型提升1.54%，相比晚期融合提升1.24%。
• 人工评估显示，使用真实标注段落描述时准确率为55.00%，而使用自动生成描述时仅为42.67%，性能差距达12.33%。
• 在真实标注段落描述上训练的TextQA模型准确率为43.96%，而在自动生成描述上训练的同一模型仅达42.07%，尽管模型能提取部分信息，仍存在1.89%的性能差距。
• 当使用真实标注段落描述时，完整VTQA模型达到48.04%的准确率，表明当前模型仍未能充分利用高质量文本信息，凸显了未来改进的关键方向。