[论文解读] KVL-BERT: Knowledge Enhanced Visual-and-Linguistic BERT for Visual Commonsense Reasoning

Dandan Song, Siyi Ma+3 more|arXiv (Cornell University)|Dec 13, 2020

Multimodal Machine Learning Applications参考文献 40被引用 6

一句话总结

本文提出 KVL-BERT，一种知识增强的视觉-语言 BERT 模型，通过将外部常识知识（来自 ConceptNet）注入多模态 BERT，以提升视觉常识推理能力。通过使用相对位置嵌入和掩码自注意力机制，该模型在注入相关知识的同时，保持了句子结构和语义完整性，在 VCR 基准测试中实现 SOTA 性能，QA→R 子任务准确率达到 75.1%。

ABSTRACT

Reasoning is a critical ability towards complete visual understanding. To develop machine with cognition-level visual understanding and reasoning abilities, the visual commonsense reasoning (VCR) task has been introduced. In VCR, given a challenging question about an image, a machine must answer correctly and then provide a rationale justifying its answer. The methods adopting the powerful BERT model as the backbone for learning joint representation of image content and natural language have shown promising improvements on VCR. However, none of the existing methods have utilized commonsense knowledge in visual commonsense reasoning, which we believe will be greatly helpful in this task. With the support of commonsense knowledge, complex questions even if the required information is not depicted in the image can be answered with cognitive reasoning. Therefore, we incorporate commonsense knowledge into the cross-modal BERT, and propose a novel Knowledge Enhanced Visual-and-Linguistic BERT (KVL-BERT for short) model. Besides taking visual and linguistic contents as input, external commonsense knowledge extracted from ConceptNet is integrated into the multi-layer Transformer. In order to reserve the structural information and semantic representation of the original sentence, we propose using relative position embedding and mask-self-attention to weaken the effect between the injected commonsense knowledge and other unrelated components in the input sequence. Compared to other task-specific models and general task-agnostic pre-training models, our KVL-BERT outperforms them by a large margin.

研究动机与目标

• 提升机器在视觉常识任务中的推理能力，超越目标检测与属性识别的范畴。
• 解决现有模型在推理复杂视觉问题时未能利用外部常识知识的局限性。
• 在注入外部知识时，保持原始输入句子的结构与语义完整性。
• 开发一种稳健的方法，将来自 ConceptNet 的常识知识整合进多模态 BERT，而不会引入噪声或破坏表征学习。

提出的方法

• 将 ConceptNet 中的相关实体注入输入文本序列，以生成知识增强的输入。
• 应用相对位置嵌入，以在知识注入后保持原始句子的结构信息。
• 使用可见矩阵限制注意力机制，使注入的知识仅影响其相关实体标记，从而减少对无关组件的干扰。
• 采用掩码自注意力机制，在注意力计算过程中保留原始输入的语义与视觉表征。
• 将增强的标记嵌入、位置嵌入、模态嵌入、视觉特征以及可见矩阵输入预训练的 VL-BERT，进行联合训练与推理。
• 评估两种变体：一种使用 transE 对知识子图进行嵌入，另一种在注入与源标记之间共享位置嵌入，以消融结构保持的有效性。

实验结果

研究问题

• RQ1 来自 ConceptNet 的外部常识知识是否能显著提升视觉常识推理任务的性能？
• RQ2 如何在不破坏原始输入语义与结构表征的前提下，将注入的知识整合进多模态 BERT 模型？
• RQ3 为最大化推理性能，每个标记应注入多少个知识实体为最优？
• RQ4 与标准注意力机制相比，使用相对位置嵌入与掩码自注意力是否能提升推理准确率？
• RQ5 在 VCR 基准测试中，所提出的 KVL-BERT 模型相较于任务特定与任务无关的预训练多模态模型表现如何？

主要发现

• KVL-BERT 在 QA→R 子任务上达到 75.1% 的准确率，优于所有对比的任务特定与任务无关模型。
• 模型在 Q→A 上达到 74.0%，在 Q→AR 上达到 55.6%，在 VCR 的所有子任务中均表现出色。
• 变体 I（使用 transE 嵌入知识子图）性能比 KVL-BERT 低 2.3–4.0 个百分点，表明直接注入更有效。
• 变体 II（在注入与源标记间共享位置嵌入）在注入更多知识实体时性能下降，而 KVL-BERT 保持稳定，表明结构保持机制的重要性。
• 消融实验确认，相对位置嵌入与掩码自注意力显著降低了知识噪声，提升了推理准确率。
• 每个标记最优注入的知识实体数量为两个，当增加到三个时性能下降，表明知识覆盖与噪声之间存在权衡。