[논문 리뷰] What Vision-Language Models `See' when they See Scenes

Michele Cafagna, Kees van Deemter외 1명|arXiv (Cornell University)|2021. 09. 15.

Multimodal Machine Learning Applications참고 문헌 47인용 수 8

한 줄 요약

이 논문은 시각-언어 모델이 개체 수준 및 장면 수준의 이미지 설명과 어떻게 정렬되는지 조사하며, 오직 CLIP만이 둘 다에서 일관되게 뛰어난 성능을 보이며, 시각적 개체 특징을 활용해 장면 수준의 문장 설명을 기반으로 한다는 것을 발견한다. 연구는 CLIP의 슈퍼리어리티가 대비 학습 목표와 비전 트랜스포머 백본 덕분이며, LXMERT나 VisualBERT와 같은 다른 모델들은 스타일적 및 의미적 분포 이탈에 취약하다는 것을 드러낸다.

ABSTRACT

Images can be described in terms of the objects they contain, or in terms of the types of scene or place that they instantiate. In this paper we address to what extent pretrained Vision and Language models can learn to align descriptions of both types with images. We compare 3 state-of-the-art models, VisualBERT, LXMERT and CLIP. We find that (i) V&L models are susceptible to stylistic biases acquired during pretraining; (ii) only CLIP performs consistently well on both object- and scene-level descriptions. A follow-up ablation study shows that CLIP uses object-level information in the visual modality to align with scene-level textual descriptions.

연구 동기 및 목표

• 시각-언어 모델이 개체 수준 및 장면 수준의 이미지 설명과 신뢰성 있게 정렬할 수 있는지 평가하는 것.
• 모델이 장면 의미와 구성 요소인 개체들 간의 연관성을 학습하는지 조사하는 것.
• 세 가지 최첨단 V&L 모델의 다양한 서술 스타일에서 제로샷 성능를 비교하는 것.
• 클리프에서 성공적인 기반 설정에 기여하는 시각적 및 텍스처적 구성 요소를 특정하기 위한 추론 분석 수행

제안 방법

• 연구는 ADE20K, Localized Narratives (LN), 그리고 새로운 HL1K 데이터셋을 사용하여 VisualBERT, LXMERT, CLIP를 제로샷 이미지-텍스트 매칭 설정에서 평가한다.
• 이미지-텍스트 매칭은 피지컬 테스트 없이도 정확한 이미지-캡션 쌍을 검색할 수 있는 능력으로 평가되며, 이는 제로샷 검색 성능을 측정하는 방식이다.
• CLIP에서 시각적 개체 특징과 텍스트적 장면 서술의 기여도를 분리하기 위해 추론 분석을 실시한다.
• 모델들은 전처리 데이터 스케일, 아키텍처(이중 스트림 대 단일 스트림), 그리고 목적 함수(예: CLIP의 대비 학습 대비 다른 모델의 마스킹 언어 모델링)에 따라 비교된다.
• HL1K 데이터셋은 아마존 메카니컬 투루를 통해 군중으로부터 수집된 장면 수준의 서술로 구성되어 있다.
• 표준 검색 메트릭스(예: 이미지-텍스트 매칭 작업에서의 상위 1위 및 상위 5위 정확도)를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 시각-언어 모델은 전처리 데이터와 스타일이 다른 장면 수준의 서술로 일반화할 수 있는가?
• RQ2 개체 중심의 서술로 훈련된 모델도 장면 수준의 서술에서 잘 수행되는가?
• RQ3 시각-언어 모델에서 장면 수준의 서술을 기반으로 하는 데 가장 중요한 시각적 및 텍스처적 구성 요소는 무엇인가?
• RQ4 왜 CLIP는 개체 수준과 장면 수준의 기반 설정 작업에서 다른 모델보다 뛰어나게 성능을 내는가?

주요 결과

• 오직 CLIP만이 개체 수준 및 장면 수준의 이미지-텍스트 매칭에서 일관되게 뛰어난 성능을 보이며, LXMERT와 VisualBERT는 장면 수준의 서술에서 성능이 크게 떨어진다.
• CLIP는 전처리 중에 본 바 없던 장면 수준의 서술을 포함한 HL1K 데이터셋에서 강력한 제로샷 성능을 달성한다.
• 추론 분석 결과, CLIP는 장면 수준의 텍스트적 서술과 정렬하기 위해 개체 수준의 시각적 특징에 의존함을 보여, 개체 인식이 장면 이해를 지원한다는 것을 시사한다.
• LXMERT보다 파rameter 수가 적음에도 불구하고 CLIP가 성능에서 앞서며, 이는 모델 크기만으로는 기반 설정 능력이 결정되지 않음을 시사한다.
• CLIP의 뛰어난 성능은 대비 학습 목표와 비전 트랜스포머 백본 덕분이며, 이는 아키텍처와 학습 목표의 선택이 스케일만으로는 결정되지 않음을 시사한다.
• LXMERT와 VisualBERT는 전처리 데이터의 스타일적 편향에 민감하여, 전처리 코퍼스와 다른 언어적 스타일을 가진 서술에서는 일반화에 실패한다.