[论文解读] Does CLIP Bind Concepts? Probing Compositionality in Large Image Models

Martha Lewis, Nayak, Nihal V.+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 6

一句话总结

本文研究了CLIP（一种视觉-语言模型）是否能够以结构化、组合化的方式组合并绑定视觉概念。通过在需要将属性与对象绑定的任务（例如，'red cube' 与 'cube behind sphere'）上对比CLIP与组合分布语义模型（CDSMs），研究发现CLIP在单对象组合任务中表现良好，但在关系性任务中表现惨败，所有模型均接近随机水平，表明其在具身组合推理方面存在根本性局限。

ABSTRACT

Large-scale neural network models combining text and images have made incredible progress in recent years. However, it remains an open question to what extent such models encode compositional representations of the concepts over which they operate, such as correctly identifying "red cube" by reasoning over the constituents "red" and "cube". In this work, we focus on the ability of a large pretrained vision and language model (CLIP) to encode compositional concepts and to bind variables in a structure-sensitive way (e.g., differentiating "cube behind sphere" from "sphere behind cube"). To inspect the performance of CLIP, we compare several architectures from research on compositional distributional semantics models (CDSMs), a line of research that attempts to implement traditional compositional linguistic structures within embedding spaces. We benchmark them on three synthetic datasets - single-object, two-object, and relational - designed to test concept binding. We find that CLIP can compose concepts in a single-object setting, but in situations where concept binding is needed, performance drops dramatically. At the same time, CDSMs also perform poorly, with best performance at chance level.

研究动机与目标

• 评估CLIP是否学习到视觉概念的具身组合表征，特别是将属性与对象绑定的能力。
• 探究显式组合模型（CDSMs）是否在结构化视觉推理任务中优于CLIP。
• 确定当前视觉-语言模型（如CLIP）是否能泛化到需要抽象变量绑定的未见组合短语。
• 评估校准在提升组合视觉推理零样本泛化能力中的作用。
• 识别CLIP在编码视觉-世界语义以实现组合语言时的核心局限。

提出的方法

• 将多种CDSM架构（例如，张量积、加法、乘法）适配至具身视觉-语言设置中，使用图像和短语嵌入。
• 使用CLIP的冻结和微调文本编码器生成短语嵌入，并与CDSM生成的嵌入在联合语义空间中进行比较。
• 构建了三个基准数据集：单对象形容词-名词组合（如 'red cube'）、双对象联合（如 'red cube and blue sphere'）以及关系性组合（如 'cube behind sphere'）。
• 通过对比学习目标，训练模型将CLIP生成的图像嵌入与正确的短语嵌入对齐。
• 应用校准堆叠以缓解零样本预测中的过度自信，尤其针对未见组合。
• 在包含未见组合的泛化划分上评估性能，使用余弦相似度和准确率指标。

实验结果

研究问题

• RQ1 CLIP能否以尊重句法结构的方式组合并绑定视觉概念，例如区分 'cube behind sphere' 与 'sphere behind cube'？
• RQ2 CDSMs（其设计即为组合性）是否在关系性视觉推理任务中优于CLIP？
• RQ3 与使用冻结编码器相比，微调CLIP的文本编码器在多大程度上提升了组合泛化能力？
• RQ4 校准堆叠是否改善了组合视觉推理基准上的零样本泛化性能？
• RQ5 CLIP的视觉-语义嵌入是否存在根本性的表征局限，导致无法实现有效的变量绑定？

主要发现

• 在单对象泛化划分上，CLIP达到92.39%的准确率，表明其在简单形容词-名词组合任务中表现强劲。
• 经过校准堆叠的CSP在单对象划分上达到96.31%，优于冻结CLIP和非校准CDSMs。
• 在双对象联合任务中，所有模型（包括微调CLIP和CDSMs）的性能均处于或接近随机水平，表明其在联合推理上失败。
• 在关系性组合任务（'cube behind sphere' 与 'sphere behind cube'）中，所有模型的性能均处于随机水平（约50%），表明其无法区分空间关系。
• 校准在单对象划分上提升了性能，但在双对象和关系性任务上未能提供帮助，原因在于验证集的数据分布问题。
• 即使经过微调和校准，没有任何模型在关系性组合任务上取得有意义的性能，表明CLIP在具身组合性表征能力方面存在根本性局限。