[论文解读] Seeing past words: Testing the cross-modal capabilities of pretrained V&L models on counting tasks

Letiția Pârcălăbescu, Albert Gatt+2 more|arXiv (Cornell University)|Dec 22, 2020

Multimodal Machine Learning Applications参考文献 35被引用 20

一句话总结

本文评估了三种预训练视觉-语言（V&L）模型——ViLBERT、ViLBERT 12-in-1 和 LXMERT——在两项任务上的跨模态推理与定位能力：图像-句子对齐与视觉计数。尽管在对齐任务上表现良好，所有模型在计数任务上均无法泛化，表现出对数据集偏差的依赖以及对实体个体化的处理能力差，表明尽管经过多模态预训练，其定位能力仍然有限。

ABSTRACT

We investigate the reasoning ability of pretrained vision and language (V&L) models in two tasks that require multimodal integration: (1) discriminating a correct image-sentence pair from an incorrect one, and (2) counting entities in an image. We evaluate three pretrained V&L models on these tasks: ViLBERT, ViLBERT 12-in-1 and LXMERT, in zero-shot and finetuned settings. Our results show that models solve task (1) very well, as expected, since all models are pretrained on task (1). However, none of the pretrained V&L models is able to adequately solve task (2), our counting probe, and they cannot generalise to out-of-distribution quantities. We propose a number of explanations for these findings: LXMERT (and to some extent ViLBERT 12-in-1) show some evidence of catastrophic forgetting on task (1). Concerning our results on the counting probe, we find evidence that all models are impacted by dataset bias, and also fail to individuate entities in the visual input. While a selling point of pretrained V&L models is their ability to solve complex tasks, our findings suggest that understanding their reasoning and grounding capabilities requires more targeted investigations on specific phenomena.

研究动机与目标

• 评估预训练的 V&L 模型是否能在其预训练任务之外实现准确的跨模态推理。
• 探究模型在视觉计数任务中对分布外数量的泛化能力。
• 评估多模态模型中数据集偏差的程度以及在实体个体化方面的失败情况。
• 检查模型在多任务微调后是否在预训练任务上表现出灾难性遗忘。
• 挑战通用 V&L 模型天然具备强大定位与推理能力的假设。

提出的方法

• 研究采用反制策略，构建对抗性的图像-句子对，以评估对齐与计数能力。
• 在零样本与微调设置下，对三种模型——ViLBERT、ViLBERT 12-in-1 和 LXMERT——在图像-句子对齐与计数任务上进行评估。
• 通过自然图像与明确的数值陈述构建计数探测器，以测试定位与计数的准确性。
• 评估模型检测错误图像-句子对的能力，以及正确判断图像中实体数量的能力。
• 性能通过准确率进行衡量，与随机基线进行比较，并分析失败案例。
• 通过注意力模式的定性分析以及对数据集偏差的利用，探究模型行为。

实验结果

研究问题

• RQ1 预训练的 V&L 模型是否能在零样本设置下准确检测错误的图像-句子对齐？
• RQ2 在无任务特定微调的情况下，这些模型在视觉计数任务中能达到多高的准确性？
• RQ3 这些模型是否能泛化到计数任务中的分布外数量，还是仅仅依赖于数据集偏差？
• RQ4 在多任务微调后，是否存在灾难性遗忘的证据，特别是在图像-句子对齐任务上？
• RQ5 模型是否能有效区分视觉实体，这是实现准确计数的前提条件？

主要发现

• 所有三种模型在零样本设置下的图像-句子对齐任务中表现良好，证实了其在该任务上的强大预训练效果。
• 即使经过微调，所有模型在计数探测任务中均未取得有意义的性能，结果接近随机基线。
• 模型在计数任务中表现出对数据集偏差的强烈依赖，无法泛化到未见过的数量。
• 在多任务微调后，LXMERT 显示出灾难性遗忘的证据，ViLBERT 12-in-1 亦有一定程度的体现，尤其在对齐任务上。
• 所有模型均未能正确区分视觉实体，表明其在将语言引用与视觉实例进行定位方面存在根本性局限。
• 尽管具有多模态架构与预训练，模型在跨模态定位方面仍缺乏鲁棒性，尤其在数值推理方面。