[논문 리뷰] Does CLIP Bind Concepts? Probing Compositionality in Large Image Models

Martha Lewis, Nayak, Nihal V.외 5명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 시각-언어 모델인 CLIP이 구조적이고 조합적인 방식으로 시각적 개념을 조합하고 바인딩할 수 있는지 조사한다. 속성과 객체를 바인딩해야 하는 작업(예: '빨간 큐브' 대비 '구체 뒤의 큐브')에서 CLIP과 조합적 분포의 의미론 모델(CDSMs)을 비교한 결과, CLIP은 단일 객체 조합에서는 잘 수행하지만 관계적 작업에서는 극적으로 실패하며, 모든 모델이 거의 우연수준의 성능을 보이며, 실질적인 지도 기반 조합적 추론의 근본적인 한계를 드러낸다.

ABSTRACT

Large-scale neural network models combining text and images have made incredible progress in recent years. However, it remains an open question to what extent such models encode compositional representations of the concepts over which they operate, such as correctly identifying "red cube" by reasoning over the constituents "red" and "cube". In this work, we focus on the ability of a large pretrained vision and language model (CLIP) to encode compositional concepts and to bind variables in a structure-sensitive way (e.g., differentiating "cube behind sphere" from "sphere behind cube"). To inspect the performance of CLIP, we compare several architectures from research on compositional distributional semantics models (CDSMs), a line of research that attempts to implement traditional compositional linguistic structures within embedding spaces. We benchmark them on three synthetic datasets - single-object, two-object, and relational - designed to test concept binding. We find that CLIP can compose concepts in a single-object setting, but in situations where concept binding is needed, performance drops dramatically. At the same time, CDSMs also perform poorly, with best performance at chance level.

연구 동기 및 목표

• CLIP이 시각적 개념의 지도 기반 조합적 표현을 학습하는지 평가하는 것, 특히 속성을 객체에 바인딩하는 데 중점을 둔다.
• 명시적으로 조합성을 고려해 설계된 모델(CDSMs)이 구조적 시각적 추론 작업에서 CLIP를 능가하는지 조사하는 것.
• 현재의 시각-언어 모델인 CLIP가 추상적 변수 바인딩이 필요한 새로운 조합적 어휘에 일반화할 수 있는지 판단하는 것.
• 조정(calibration)이 조합적 시각적 추론을 위한 제로샷 일반화를 향상시키는 데 어떤 역할을 하는지 평가하는 것.
• CLIP의 시각-세미틱 임베딩 방식이 조합적 언어에 대한 효과적인 변수 바인딩을 방해하는 핵심적 제약 요소가 있는지 규명하는 것.

제안 방법

• 이미지와 어휘 임베딩을 사용하여 시각-언어 환경에서 작동하도록 다수의 CDSM 아키텍처(예: 텐서 곱, 덧셈형, 곱셈형)를 변형 적용하였다.
• CLIP의 고정 및 미세조정된 텍스트 인코더를 사용해 어휘 임베딩을 생성하고, 이를 CDSM가 생성한 임베딩과 함께 공동의 의미 공간에서 비교하였다.
• 세 가지 벤치마크 데이터셋을 구성하였다: 단일 객체의 형용사-명사 조합(예: '빨간 큐브'), 이중 객체의 결합(예: '빨간 큐브와 파란 구체'), 그리고 관계적 조합(예: '큐브가 구체 뒤에 있음').
• 대비 학습 목표를 사용하여 CLIP의 이미지 임베딩과 정확한 어휘 임베딩을 정렬하도록 모델을 훈련시켰다.
• 제로샷 예측에서 과신을 완화하기 위해 조정된 스태킹을 적용하였으며, 특히 새로운 조합에 대해 유의미한 성능 향상을 기대하였다.
• 새로운 조합을 포함한 일반화 분할에서 성능을 평가하였으며, 코사인 유사도와 정확도 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 CLIP은 문법적 구조를 존중하는 방식으로 시각적 개념을 조합하고 바인딩할 수 있는가, 예를 들어 '큐브가 구체 뒤에 있음'과 '구체가 큐브 뒤에 있음'을 구분할 수 있는가?
• RQ2 조합성을 명시적으로 고려해 설계된 CDSMs가 관계적 시각적 추론 작업에서 CLIP를 능가하는가?
• RQ3 CLIP의 텍스트 인코더를 미세조정하는 것이 고정된 인코더를 사용할 때보다 조합적 일반화 성능을 얼마나 향상시키는가?
• RQ4 조정된 스태킹이 조합적 시각적 추론 벤치마크에서 제로샷 일반화 성능을 향상시키는가?
• RQ5 CLIP의 시각-세미틱 임베딩 방식에 조합적 언어를 위한 효과적인 변수 바인딩을 방해하는 근본적인 표현적 제약 요소가 존재하는가?

주요 결과

• CLIP은 단일 객체 일반화 분할에서 92.39%의 정확도를 기록하여 단순한 형용사-명사 조합에서 뛰어난 성능을 보였다.
• 조정된 스태킹을 적용한 CSP는 단일 객체 분할에서 96.31%로 향상되어 고정된 CLIP와 비조정 CDSMs를 모두 앞섰다.
• 이중 객체 결합 작업에서는 CLIP와 CDSMs를 포함한 모든 모델가 성능가 또는 거의 우연수준에 머물러, 결합에 대한 일반화 실패를 보였다.
• 관계적 조합 작업(예: '큐브가 구체 뒤에 있음' 대비 '구체가 큐브 뒤에 있음')에서는 모든 모델가 약 50% 수준의 우연수준 성능을 보이며 공간 관계를 구분할 능력이 없음을 보였다.
• 조정은 단일 객체 분할에서 성능 향상을 이끌었지만, 이중 객체 및 관계적 작업에서는 검증 세트의 데이터 분포 문제로 인해 효과를 보이지 않았다.
• 미세조정과 조정을 적용한 후에도 어떤 모델도 관계적 조합에서 의미 있는 성능를 달성하지 못했으며, 이는 CLIP의 지도 기반 조합성 표현 능력에 근본적인 제약이 있음을 시사한다.