[论文解读] Seeing past words: Testing the cross-modal capabilities of pretrained V&L models

Letiția Pârcălăbescu, Albert Gatt+2 more|arXiv (Cornell University)|Dec 22, 2020

Multimodal Machine Learning Applications参考文献 20被引用 5

一句话总结

该论文评估了预训练视觉-语言（V&L）模型——ViLBERT、ViLBERT 12-in-1 和 LXMERT——在两项多模态推理任务上的表现：图像-句子对判别与视觉计数。尽管在对齐任务上表现强劲，但这些模型在计数实体方面表现不佳，尤其是在分布外的情况下，原因在于数据集偏差和实体个体化能力差。

ABSTRACT

We investigate the ability of general-purpose pretrained vision and language V&L models to perform reasoning in two tasks that require multimodal integration: (1) discriminating a correct image-sentence pair from an incorrect one, and (2) counting entities in an image. We evaluate three pretrained V&L models on these tasks: ViLBERT, ViLBERT 12-in-1 and LXMERT, in zero-shot and finetuned settings. Our results show that models solve task (1) very well, as expected, since all models use task (1) for pretraining. However, none of the pretrained V&L models are able to adequately solve task (2), our counting probe, and they cannot generalise to out-of-distribution quantities. Our investigations suggest that pretrained V&L representations are less successful than expected at integrating the two modalities. We propose a number of explanations for these findings: LXMERT's results on the image-sentence alignment task (and to a lesser extent those obtained by ViLBERT 12-in-1) indicate that the model may exhibit catastrophic forgetting. As for our results on the counting probe, we find evidence that all models are impacted by dataset bias, and also fail to individuate entities in the visual input.

研究动机与目标

• 评估预训练视觉-语言模型是否能够执行超越其预训练目标的推理任务。
• 探究这些模型在视觉计数任务中对分布外数量的泛化能力。
• 考察数据集偏差和视觉实体个体化失败是否阻碍多模态融合。
• 评估视觉-语言模型在预训练过程中灾难性遗忘的程度。

提出的方法

• 在两项任务上微调并零样本评估三种视觉-语言模型——ViLBERT、ViLBERT 12-in-1 和 LXMERT——的表现：图像-句子对齐与视觉计数。
• 使用零样本计数探针，测试模型对训练数据中未出现的未见数量的泛化能力。
• 通过消融实验和对注意力机制及特征表示的分析，研究模型行为。
• 比较不同模型在性能上的差异，以识别其在鲁棒性和泛化能力方面的区别。
• 通过探测模型在罕见或分布外样本上的预测表现，研究数据集偏差的影响。
• 通过分析模型是否能够区分并计数图像中的单个物体，评估实体个体化能力。

实验结果

研究问题

• RQ1 预训练的视觉-语言模型能否泛化到预训练期间未见过的实体计数范围？
• RQ2 数据集偏差在多大程度上影响视觉计数任务中视觉-语言模型预测的可靠性？
• RQ3 为何视觉-语言模型在图像-句子对齐任务上表现优异，但在视觉计数任务上表现不佳？
• RQ4 模型在预训练过程中是否表现出灾难性遗忘，特别是在多模态推理任务中？
• RQ5 视觉-语言模型在视觉输入中对物体的个体化能力如何，其证据是什么？

主要发现

• 所有三种模型在图像-句子对齐任务上表现极佳，这与其预训练目标一致。
• 这些模型在视觉计数探针任务上均未达到令人满意的性能，尤其是在分布外数量上表现更差。
• LXMERT 和 ViLBERT 12-in-1 显示出灾难性遗忘的迹象，预训练后对齐任务性能下降。
• 数据集偏差显著影响模型预测，尤其在罕见或未见数量上。
• 模型未能正确实现视觉实体的个体化，导致即使在视觉上可区分的物体上也出现计数错误。
• 对未见数量的泛化能力较差，表明预训练视觉-语言表征缺乏组合性推理能力。